안녕하세요 SubGeneral입니다.
제 Steemit 첫 글로 파이썬을 활용한 영국 Currys 소비자 리뷰를 크롤링하는 방법을 설명하도록 하겠습니다.
회사 업무 중에 VOC 분석할려고 작성한 코드입니다. 아무래도 문과생이 만든 코드이다보니 조금 엉성한 부분이 있는데 너그럽게 봐주시고 수정할 부분 있으면 코멘트 남겨주시면 감사하겠습니다.
본격적으로 코드를 설명하기전 해당 작업에 필요한 아래 환경들이 설치되어 있는지 확인합시다.
Python Packages: Selenium/Pandas/BeautifulSoup(Anaconda Prompt에서 Pip install 패키지)
Editor: Jupyter notebook
Chromdriver(http://chromedriver.chromium.org/downloads) <-<- 여기서 다운로드
크롤링에 필요한 패키지들 불러오기
솔직히 이렇게나 많은 패키지들이 필요한지 모르겠으나, 제가 심가한 쫄보라 일단 다 가져와봤습니다.
Selenium 패키지 활용을 위한 크롬드라이버 기본 세팅 설정
Headless 옵션으로 크롬창 안띄우고 진행할 것이고, 일부 사이트는 창 사이즈 크기에 따라 웹사이트 구조가 달라지기 때문에 우선 1920*1080으로 최대화 설정했습니다.
그리고 Display-gpu는 저도 잘 모르겠습니다 ...
마지막 줄에 Executable path 부분에 위에서 다운로드한 Chrome Driver 경로 작성해주시면 작업에 필요한 모든 기본세팅은 완료!
일단 여기서 마치고, 다음 글에서 진짜 본격적으로 Currys 사이트 리뷰 댓글 가져오는 코드를 알아보도록 하겠습니다. 그럼 ㅂㅇ