#8 Selenium으로 Nate 크롤링하기

https://stackoverflow.com/questions/10720325/selenium-webdriver-wait-for-complex-page-with-javascript-to-load

Selenium WebDriver: Wait for complex page with JavaScript to load

현재 네이트 페이지 크롤링 중인데 

js파일이 로딩되어 실시간 검색어 목록이 refresh될 떄 까지 기다리게 하는 방법에 대해서 찾고 있다.

 

json파일 내용을 parsing하는 방법도 있는것으로 보이고 일단 메모만 남겨둬야지

 

셀레니움은 사용하지 않고https://www.nate.com/js/data/jsonLiveKeywordDataV1.js?v=202109041200이 주소로 request를 보내서 데이터를 가져왔다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

Reference

 

https://wonyong-jang.github.io/java/2020/07/01/Java-Selenium.html

[Java] 동적 웹 크롤링을 위한 셀레니움 1 - SW Developer

https://m.blog.naver.com/PostView.naver?isHttpsRedirect=true&blogId=bb_&logNo=222009164517 

[JAVA] HttpUrlConnection 한글 깨짐 해결

https://blog.naver.com/PostView.nhn?blogId=rhkrehduq&logNo=221526106085&parentCategoryNo=&categoryNo=22&viewDate=&isShowPopularPosts=true&from=search 

java - http request 요청 보내는 방법