Web Crawling - 크롤링을 위한 준비사항

안녕하세요!

오늘은 지난주에 학원에서 배웠던 내용을 토대로 음원사이트 멜론(Melon)의 일간 차트 크롤러를 만들어봤어요!

기록도 하고 복습도 할 겸 과정을 올리려구요.

곡명, 앨범명, 상세 정보와 좋아요 수, 가사까지 수집할 수 있게 만들었는데요. 좋아요와 가사를 이용해서 시각화도 진행해볼 예정입니다!

 

첫 번째 포스팅은 '크롤링을 위한 준비사항'입니다.

저는 주피터 노트북과 크롬 드라이버를 이용했어요! 주피터 노트북이 설치 되어있다는 가정 하에 진행하겠습니다.

---

크롬드라이버를 설치하기 위해서 구글에 'chrome driver'라고 검색하시거나,

한글로 '크롬 드라이버'라고 검색하시면 링크가 나옵니다.

 

맨 윗부분의 링크를 클릭해주세요!

 

링크를 클릭하면 아래와 같은 페이지에 접속하게 됩니다.

 

크롬 드라이버의 버전이 여러 가지로 나뉘어 있습니당

현재 설치된 크롬 버전에 맞는 드라이버를 설치해야 하므로 버전을 확인해 보겠습니다!

 

점 세 개가 있는 더보기 표시(Chrome 맞춤 설정 및 제어) 클릭 → 도움말 → Chrome 정보를 클릭하면
크롬의 버전을 알 수 있습니다. 단, 꼭 Chrome으로 접속하셔야 볼 수 있어요!

위와 같은 화면으로 넘어가서 버전 정보를 확인할 수 있습니다.

 

Chrome정보를 확인했으니, 이제 같은 버전의 Chrome driver를 설치해줍니다.

사용하고 있는 버전이 90.0.4430.~ 이므로, 같은 버전의 다운로드를 클릭합니다.

 

위 화면에서 자신이 사용하고 있는 운영체제에 맞춰 파일을 다운로드 해주세요!

경로는 크롤러를 만들 폴더로 설정해주시면 됩니다.

 

압축을 풀면 끝입니다!

이제 이 폴더 내에 크롤러를 생성해서 실행하면 됩니다.

 

다음 내용은 멜론(Melon) 크롤링으로 진행해볼게요!