20대 마무리

크롤링을 이용해서 네이버 트렌드와 관련된 간단한 분석을 진행해보았습니다. 크롤링은 데이터 분석에서 가장 기초가 되는 부분이라고 생각합니다. 이번 크롤링에서 아쉬웠던 점은, 데이터의 숫자와 제한된 시각화 방법이였습니다. 분석을 위한 충분한 데이터의 확보와 다양한 방식의 시각화를 통해 다양한 인사이트의 도출이 필요해보입니다. 해당 문제는 for문을 통해 네이버쇼핑내의 페이지를 넘겨가며 크롤링을 진행하여 더 많은 데이터를 확보하는 방법과 matplotlib 등 다른 시각화 라이브러리를 사용하는 방식으로 해결할 수 있을 것이라고 생각합니다.

이전에 네이버 쇼핑에서 항목과 가격을 데이터 프레임에 저장했습니다. 데이터는 보고단계에서 시각화가 꼭 필요합니다. 이번에는 저장된 데이터 프레임을 이용하여 시각화를 진행해보겠습니다. 먼저 라이브러리를 임포트합니다. 추가로 sort_values 를 통해 우리가 중요하게 생각하는 가격에 맞춰 데이터를 정리합니다. 데이터 분석의 핵심은 데이터를 통해 인사이트를 내는것이기 때문에, 시각적으로 인사이트를 잘 도출해 낼 수 있는 형태로 변환하는 것은 사소하지만 중요한 것이라고 생각합니다. Seaborn 라이브러리를 임포트해서 sns.distplot 함수를 통해 히스토그램을 그려보았습니다. 네이버 트렌드를 통해 인기있는 품목이 '에코백'이라는 것을 알아냈고, 네이버 쇼핑 검색을 통해 현재 네이버 쇼핑에 등록된 에코백..

본격적인 스크래핑을 진행하기 전에, 최신 트렌드를 확인했습니다. 네이버 데이터랩에 있는, 카테고리별 작일 인기검색어 1위가 무엇인지 확인하고 추출하겠습니다. 이후에 해당 품목을 네이버 쇼핑에서 검색해서 크롤링하여 해당 품목의 가격들을 비교해보도록 하겠습니다. 우선 네이버 데이터랩을 이용해 최신 트렌드를 확인해보겠습니다. 1. 크롬드라이버를 통해 네이버 데이터랩에 접속 저는 Jupyter Notebook 환경에서 셀을 분할하여 진행했지만, 셀을 병합하여 한꺼번에 실행할 경우, 충돌이 일어나는 경우가 생기기때문에 time.sleep() 을 넣어주었습니다. 2. 카테고리 목록을 뽑아서, 사용자에게 검색하고자 하는 카테고리를 입력 받기 CSS 셀렉터를 이용해서 a 태그의 클래스를 기입하고, click() 메서드..

Pycaret 설치는 사실 간단하다. 명령프롬프트에서 아래와 같은 명령어를 입력하면 끝.... $ pip insatll pycaret But.... Error: could not build wheels for scikit-learn, which is required to install pyproject.toml-based projects ????????????? Stackoverflow에서 같은 오류를 겪은 사람의 글이 있어 참고했다... 새로 사이킷럿을 .whi 파일로 설치하고 진행했더니 이번에는... Error: could not build wheels for scikit-learn which use pep 517 and cannot be installed directly ???????????? 안되..