초보 개발자의 일기

Boston Marathon 2019_데이터 확인 학원에서 Finishers Boston Marathon 2015, 2016 & 2017 데이터셋으로 데이터 전처리와 시각화방법을 배웠는데요! 캐글에 검색해보니 Boston Marathon 2019 데이터가 있어서 복습도 할 겸 전처리와 시각화를 해보. dada-devdiary.tistory.com 안녕하세요! 지난번에 Boston Marathon 2019 데이터를 확인해보는 글을 올렸었는데, 그동안 여러 일이 많아서 이제야 다음 글을 올리게 되었습니다... github에도 매일 잔디를 채우고 있었는데 군데 군데 빈곳이 보여서 마음이 아프네요 ㅠ 오늘은 지난번에 확인해본 데이터를 정제하고, 제 마음대로 새로운 컬럼도 넣어볼거에요! 왜냐면 연습이니까~ 그럼 ..

학원에서 Finishers Boston Marathon 2015, 2016 & 2017 데이터셋으로 데이터 전처리와 시각화방법을 배웠는데요! 캐글에 검색해보니 Boston Marathon 2019 데이터가 있어서 복습도 할 겸 전처리와 시각화를 해보려고 합니다. Finishers Boston Marathon 2015, 2016 & 2017 This data has the names, times and general demographics of the finishers www.kaggle.com Boston Marathon 2019 Analysis of the Boston Marathon 2019 results based on different properties www.kaggle.com 데이터 전처리를..

Web Crawling - '멜론(Melon)' 크롤링(1) Web Crawling - 크롤링을 위한 준비사항 안녕하세요! 오늘은 지난주에 학원에서 배웠던 내용을 토대로 음원사이트 멜론(Melon)의 일간 차트 크롤러를 만들어봤어요! 기록도 하고 복습도 할 겸 과정을 dada-devdiary.tistory.com 안녕하세요! 오늘도 지난 글에 이어 멜론 크롤링에 대해 진행하겠습니다. 지난번에 개발자 도구를 이용해서 element를 확인하고, 'driver.find_~'를 이용해서 곡의 제목과 가수를 추출해보는 과정까지 해봤는데요! 오늘은 앞에서 했던 과정을 조금 응용해서 크롤러를 완성해보겠습니다. 시작 전에 지난번 진행했던 코드까지 순서대로 실행해주셔야 오류가 발생할 확률이 낮아집니다. # 앨범 기본 정..

Web Crawling - 크롤링을 위한 준비사항 안녕하세요! 오늘은 지난주에 학원에서 배웠던 내용을 토대로 음원사이트 멜론(Melon)의 일간 차트 크롤러를 만들어봤어요! 기록도 하고 복습도 할 겸 과정을 올리려구요. 곡명, 앨범명, 상세 정 dada-devdiary.tistory.com 안녕하세요! 얼마 전에 크롤링을 위해 크롬 드라이버를 설치했으니까 오늘은 음원사이트 멜론(Melon) 크롤러를 만들기 위한 기본 패키지나 메소드 등에 대해 설명해 드리겠습니다. 멜론 크롤링은 이 글에서 절반정도 진행 후, 다음 글에서 남은 절반을 이어서 진행하도록 하겠습니다! 아직 크롬드라이버가 없으시다면 위 글을 참고해주세요~ 먼저, 주피터 노트북을 실행합니다. Desktop을 클릭하면 바탕화면에 있는 파일과 폴더들..

안녕하세요! 오늘은 지난주에 학원에서 배웠던 내용을 토대로 음원사이트 멜론(Melon)의 일간 차트 크롤러를 만들어봤어요! 기록도 하고 복습도 할 겸 과정을 올리려구요. 곡명, 앨범명, 상세 정보와 좋아요 수, 가사까지 수집할 수 있게 만들었는데요. 좋아요와 가사를 이용해서 시각화도 진행해볼 예정입니다! 첫 번째 포스팅은 '크롤링을 위한 준비사항'입니다. 저는 주피터 노트북과 크롬 드라이버를 이용했어요! 주피터 노트북이 설치 되어있다는 가정 하에 진행하겠습니다. 크롬드라이버를 설치하기 위해서 구글에 'chrome driver'라고 검색하시거나, 한글로 '크롬 드라이버'라고 검색하시면 링크가 나옵니다. 맨 윗부분의 링크를 클릭해주세요! 링크를 클릭하면 아래와 같은 페이지에 접속하게 됩니다. 크롬 드라이버의..

예시용 df생성 df = pd.DataFrame(np.arange(16).reshape(4,4), index=None, columns=['price', 'qty', 'price', 'qty']) df 새 column 추가하기 마지막에 컬럼 추가 df['name'] = '-' # name 컬럼을 추가한다. df 원하는 위치에 컬럼 추가 예시용 df 생성 컬럼 추가 df.insert(2, 'name', '-', allow_duplicates=False) # 중복허용 안함 df 중복허용을 하지 않으면 같은 이름의 컬럼을 중복 생성할 수 없다. 기본 테이블을 멀티 column, index로 바꾸기 예시용 df생성 멀티 컬럼으로 만들기 import pandas as pd df2 = pd.DataFrame(df1...