Crawling4 [Crawling] 크롤링으로 Excel 업무 자동화 하기 하이 ..! 회사에 있다보면 타부서에 이것저것 요청해야할 것 (서버 계정 신청이나 방화벽 신청 같은 것들??) 들이 굉장히 많다. 우리회사에서는 신청할 양이 꽤 되는 것들은 틀이 정해져 있는 액셀파일로 요청을 하는 경우가 많다. 그런데 ... 이 액셀 파일을 만드는 것 조차 귀찮게 느껴진다. 크롤링을 공부하다가 이런 액셀파일도 자동으로 만들어주면 어떨까 하는 생각이 들어서 .. 일단 크롤링을 통해 액셀 파일을 만들고, 읽는 예제를 한번 작성해보았다. 오늘 내가 크롤링해서 작업해볼 건 바로 !! 내 블로그이다. ㅎㅎㅎ 일단 내 블로그 메인 페이지를 들어가보면 위의 화면과 같이 리스트로 정렬이 되어 있다. 나는 저기 저 글 제목들을 쭉 긁어서 액셀 파일로 만들어 볼거다. 액셀파일 만들기 위의 코드는 액셀 파.. 2020. 4. 16. [Crawling] Python select로 크롤링하기 하이 ~~ 여러분 저번에 아주! 정말! 쉽게! 크롤링 하는 방법 여러분들에게 알려드렸었다 ㅎㅎ 혹시 기억안나시는 분들은 보고오자 !! https://devkingdom.tistory.com/125 [Crawling] 비전공자도 쉽게 따라하는 크롤링 하이 ~~!!! ㅎㅎ 오늘은 간단하게 파이썬 몇줄만 가지고도 쉽게 웹페이지를 크롤링해오는 것을 보여줄거다. 크롤링을 할때는 딱 5가지만 기억하자. 1. 필요 라이브러리 import하기 2. 요청을 통한 웹페이지 가져오.. devkingdom.tistory.com 저번에는 find로 크롤링하는 방법을 보여드렸는데 오늘은 select를 써서 크롤링해볼꺼다. select를 이용한 크롤링 오늘은 내가 좋아하는 축구기사에 대해 크롤링을 해볼거다. 크 ... 우리 갓지성.. 2020. 4. 14. [Crawling] 비전공자도 쉽게 따라하는 크롤링 하이 ~~!!! ㅎㅎ 오늘은 간단하게 파이썬 몇줄만 가지고도 쉽게 웹페이지를 크롤링해오는 것을 보여줄거다. 크롤링을 할때는 딱 5가지만 기억하자. 1. 필요 라이브러리 import하기 2. 요청을 통한 웹페이지 가져오기 3. 웹페이지 파싱하기 4. 데이터 추출하기 5. 데이터 활용하기 나중에 코드가 복잡해질 수는 있지만, 이러한 핵심적인 원리는 같다는거 잘 기억해주자. 간단하게 코드로 보여주겠다. 필요 라이브러리 import하기 이전에 내가 올렸던 포스팅에서 외부의 필요한 라이브러리를 설치하는 pip install 명령어를 기억하실 거다. bs4 같은 경우 라이브러리 설치가 필요하니, install 해주자. 요청을 통한 웹 페이지 가져오기 실제로 접근할 페이지의 url 을 넣어주면 된다. ㅎㅎ 나는 실제.. 2020. 4. 9. [Crawling] 웹 크롤링이란? 블로그를 시작하고 더 공부를 열심히 하게 된 것 같다. 내가 업무에 있어 필요한 기술을 예전에는 구글링하고 책을 뒤져보고 기술을 적용한 뒤 다 잊어먹어 버렸는데, 요즘에는 이렇게 자료를 정리해놓으니 뭔가 굉장히 공부가 되는 듯한 느낌을 받는다 ㅎㅎ 이번에 업무를 함에 있어 필요한 기술은 크롤링 (Crawling) 이라는 기술이다. IT 종사자들이라면 이 단어를 한번 쯤은 들어 보셨을 수도 있다. 이것 저것 검색하고 공부하다 보니 웹크롤링을 하려면 아래와 같은 내용을 알아야 하는 것 같다. Selenium Selenium 이란 다양한 언어에서 Web driver를 이용해 웹 자동화 테스트나 웹 자동화를 도와주는 Library 이다. 더 자세히 알기 위해 공식 홈페이지를 들어가봤다. 어 .. 그래 ... ㅎ.. 2019. 11. 3. 이전 1 다음
