Puppeteer 2건

Puppeteer로 네이버 시리즈 웹소설 데이터를 수집해보았다. html 파싱을 위해서는 cheerio를 사용했다. 목차 설치하기 Puppeteer 설치 Cheerio 설치 라이브러리 가져오기 네이버 웹소설 페이지 접속하기 Puppeteer 크롤링 코드 Headless 옵션 특정 URL의 HTML 값 가져오기 완성 전체 코드 실행 결과 설치하기 Puppeteer 설치 puppeteer를 설치한다. npm이나 yarn으로 설치하면 된다. npm install puppeteer # npm으로 설치하기 yarn add puppeteer # yarn으로 설치하기 연관글 : Puppeteer 웹 크롤링 시작하기 Cheerio 설치 html 파싱을 위해 cheerio도 설치해준다. cheerio를 이용하면 html..

파이썬 진영에 Selenium가 있다면 JS 진영에는 Puppeteer가 있다. Puppeteer로 웹 크롤링 시작하는 방법에 대해 알아보자. 목차 Puppeteer란? Puppeteer로 할 수 있는 것들 Puppeteer 설치하기 Puppeteer 예제 코드 스크린샷 찍기 PDF로 저장하기 Puppeteer란? Puppeteer란 크롬 혹은 크로미움 브라우저를 DevTools Protocol로 제어하는 API를 제공하는 Node 라이브러리이다. Puppeteer를 사용하면 크롬/크로미움 부라우저를 headless 환경으로도 다룰 수 있고, SPA 기반 웹사이트를 크롤링하는 것도 가능하다. Puppeteer로 할 수 있는 것들 Puppeteer를 사용하면 사람이 브라우저에서 수동으로 작업하는 대부분의 ..