목록개발이즈 마이라이프 (67)

장발의 개발러

Selenium 으로 Web Scraping 아이 해봤니?

본 글은 ‘테스트 자동화 도구’로 잘 알려진 'Selenium (셀레니움)'을 이용하여 Java + Spring 환경에서 'Web Scraping' 을 구현해 본 경험에 대한 이야기 입니다. 배경 왜 하게 됐는가? 업무 상 특정 웹사이트의 정보를 Scraping 해오는 신규 시스템을 설계하고 개발 하였습니다. 왜 Selenium 을 선택 했는가? 개발을 막 시작한 당시, Scraping 대상 웹사이트는 JavaScript 가 실행되어 동적으로 랜더링된 웹요소(Web Element) 중 하나를 로그인 폼(Form)의 필수 입력 값으로 사용하고 있었는데요, 이처럼 Scraping 에 필요한 필수 웹요소가 JavaScript 에 의해 동적으로 랜더링 되는 경우 Jsoup(Java), Beautifulsoup(..
개발이즈 마이라이프 2019. 6. 28. 00:25
AWS Ubuntu(EC2)에 Selenium & firefox 환경구축

AWS EC2 생성 Ubuntu Server 18.04 LTS (HVM), SSD Volume Type 으로 EC2 생성 및 시작 이후 해당 인스턴스에 SSH 접속 firefox 설치$ sudo apt-get update$ apt-cache show firefox | grep VersionVersion: 63.0+build2-0ubuntu0.18.04.2 Version: 59.0.2+build1-0ubuntu1$ sudo apt-get install firefox=63.0+build2-0ubuntu0.18.04.2$ sudo apt-mark hold firefox아래 명령 실행해서 이슈 없으면 성공$ firefox --headless geckodriver 설치$ wget https://github.com..
개발이즈 마이라이프/ETC 2018. 10. 30. 22:15
Lagom Framework (라곰 프레임워크)

Lagom Framework (라곰 프레임워크) 이 글을 마지막으로 네이버블로그로 이사 갑니다. 앞으로 포스팅과 라곰관련 내용은 아래 제 네이버 블로그를 이용해 주세요. :) http://blog.naver.com/bansuk78/221024649981
개발이즈 마이라이프/Lagom Framework for Reactive MicroServices 2017. 7. 31. 20:39
개발자라면 1시간 안에 풀어야할 문제 5개

개발자라면 1시간 안에 풀어야할 문제 5개 https://www.shiftedup.com/2015/05/07/five-programming-problems-every-software-engineer-should-be-able-to-solve-in-less-than-1-hour
개발이즈 마이라이프/JavaSE 2015. 10. 30. 14:24
[리눅스] 리눅스포털

https://www.linux.co.kr/
개발이즈 마이라이프/OS 2015. 9. 22. 15:59
개발자가 놓치기 쉬운 자바의 기본원리

http://blog.naver.com/etwas0227/60037531696개발자가 놓치기 쉬운 자바의 기본원리
개발이즈 마이라이프/JavaSE 2015. 5. 7. 14:30
Byte[]과 Int를 서로 변환하는 함수 만들기

http://blog.naver.com/blue7water/10015686272
개발이즈 마이라이프/JavaSE 2015. 5. 7. 14:29
[Spring] Combining standalone application with Spring

Combining standalone application with Spring
개발이즈 마이라이프/JavaEE 2015. 3. 18. 16:48
이전 Prev 1 2 3 4 ··· 9 Next 다음