Selenium2 [Debuging] Selenium 을 이용한 자동 로그인 모듈에서 Headless 모드에서만 No Such Element 에러 날때 Selenium을 이용해서 구글에 자동로그인을 하는 프로그램을 만들던 도중 그냥 할때는 잘되는데, Headless 설정만 해주면 Element들을 못 찾는 문제가 발생했다 . 왜 그런지 검색을하다가 알게된 사실은, 보통 크롬 브라우저의 경우 아래와 같은 User-Agent 의 정보를 가지고 있다. Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.122 Safari/537.36 그런데 Headless 로 요청할 때는 HeadlessChrome 이라고 User-Agent가 세팅되는 것을 알 수 있었다. Mozilla/5.0 (Windows NT 10.0; Win64; x64) App.. 2020. 4. 26. [Crawling] 웹 크롤링이란? 블로그를 시작하고 더 공부를 열심히 하게 된 것 같다. 내가 업무에 있어 필요한 기술을 예전에는 구글링하고 책을 뒤져보고 기술을 적용한 뒤 다 잊어먹어 버렸는데, 요즘에는 이렇게 자료를 정리해놓으니 뭔가 굉장히 공부가 되는 듯한 느낌을 받는다 ㅎㅎ 이번에 업무를 함에 있어 필요한 기술은 크롤링 (Crawling) 이라는 기술이다. IT 종사자들이라면 이 단어를 한번 쯤은 들어 보셨을 수도 있다. 이것 저것 검색하고 공부하다 보니 웹크롤링을 하려면 아래와 같은 내용을 알아야 하는 것 같다. Selenium Selenium 이란 다양한 언어에서 Web driver를 이용해 웹 자동화 테스트나 웹 자동화를 도와주는 Library 이다. 더 자세히 알기 위해 공식 홈페이지를 들어가봤다. 어 .. 그래 ... ㅎ.. 2019. 11. 3. 이전 1 다음
