목록selenium #scraping #webscraping #jsoup #firefox (1)

장발의 개발러

Selenium 으로 Web Scraping 아이 해봤니?

본 글은 ‘테스트 자동화 도구’로 잘 알려진 'Selenium (셀레니움)'을 이용하여 Java + Spring 환경에서 'Web Scraping' 을 구현해 본 경험에 대한 이야기 입니다. 배경 왜 하게 됐는가? 업무 상 특정 웹사이트의 정보를 Scraping 해오는 신규 시스템을 설계하고 개발 하였습니다. 왜 Selenium 을 선택 했는가? 개발을 막 시작한 당시, Scraping 대상 웹사이트는 JavaScript 가 실행되어 동적으로 랜더링된 웹요소(Web Element) 중 하나를 로그인 폼(Form)의 필수 입력 값으로 사용하고 있었는데요, 이처럼 Scraping 에 필요한 필수 웹요소가 JavaScript 에 의해 동적으로 랜더링 되는 경우 Jsoup(Java), Beautifulsoup(..
개발이즈 마이라이프 2019. 6. 28. 00:25
이전 Prev 1 Next 다음