20대 마무리

크롤링을 이용해서 네이버 트렌드와 관련된 간단한 분석을 진행해보았습니다. 크롤링은 데이터 분석에서 가장 기초가 되는 부분이라고 생각합니다. 이번 크롤링에서 아쉬웠던 점은, 데이터의 숫자와 제한된 시각화 방법이였습니다. 분석을 위한 충분한 데이터의 확보와 다양한 방식의 시각화를 통해 다양한 인사이트의 도출이 필요해보입니다. 해당 문제는 for문을 통해 네이버쇼핑내의 페이지를 넘겨가며 크롤링을 진행하여 더 많은 데이터를 확보하는 방법과 matplotlib 등 다른 시각화 라이브러리를 사용하는 방식으로 해결할 수 있을 것이라고 생각합니다.

이전에 네이버 쇼핑에서 항목과 가격을 데이터 프레임에 저장했습니다. 데이터는 보고단계에서 시각화가 꼭 필요합니다. 이번에는 저장된 데이터 프레임을 이용하여 시각화를 진행해보겠습니다. 먼저 라이브러리를 임포트합니다. 추가로 sort_values 를 통해 우리가 중요하게 생각하는 가격에 맞춰 데이터를 정리합니다. 데이터 분석의 핵심은 데이터를 통해 인사이트를 내는것이기 때문에, 시각적으로 인사이트를 잘 도출해 낼 수 있는 형태로 변환하는 것은 사소하지만 중요한 것이라고 생각합니다. Seaborn 라이브러리를 임포트해서 sns.distplot 함수를 통해 히스토그램을 그려보았습니다. 네이버 트렌드를 통해 인기있는 품목이 '에코백'이라는 것을 알아냈고, 네이버 쇼핑 검색을 통해 현재 네이버 쇼핑에 등록된 에코백..

본격적인 스크래핑을 진행하기 전에, 최신 트렌드를 확인했습니다. 네이버 데이터랩에 있는, 카테고리별 작일 인기검색어 1위가 무엇인지 확인하고 추출하겠습니다. 이후에 해당 품목을 네이버 쇼핑에서 검색해서 크롤링하여 해당 품목의 가격들을 비교해보도록 하겠습니다. 우선 네이버 데이터랩을 이용해 최신 트렌드를 확인해보겠습니다. 1. 크롬드라이버를 통해 네이버 데이터랩에 접속 저는 Jupyter Notebook 환경에서 셀을 분할하여 진행했지만, 셀을 병합하여 한꺼번에 실행할 경우, 충돌이 일어나는 경우가 생기기때문에 time.sleep() 을 넣어주었습니다. 2. 카테고리 목록을 뽑아서, 사용자에게 검색하고자 하는 카테고리를 입력 받기 CSS 셀렉터를 이용해서 a 태그의 클래스를 기입하고, click() 메서드..

크롤링의 방법에는 여러가지 방법이 있습니다. 그 중 저는 Selenium 라이브러리에서 크롬드라이버를 통해 크롤링을 진행했습니다. 1. Jupyter Notebook에서 크롬드라이버 및 Selenium 설치 2. Selenium을 비롯한 각종 라이브러리 import 하기

몇 년 전, 아마존과 알리바바가 전세계적인 전자상거래 시장의 메카로 떠오르던 시기가 있었습니다. Made in Korea 손톱깎이 하나로 아마존에서 수만불의 월매출을 기록했다는 기사가 떠돌고, 전자상거래에 많은 관심이 쏠리곤 했었습니다. 퇴사 후 아마존으로 억대연봉? (예시) 그 당시에는 위와 같은 문구로 아마존 전자상거래 강의, 알리바바 전자상거래 강의 등 전자상거래에 도전하는 개인 오퍼상들이 급격하게 많아졌었고, 저도 그 강의를 수강해본 한 사람이었습니다. 많은 돈을 벌기 위해 수많은 사람들이 뛰어들었지만, 대부분 시작단계에서 멈추고 말았는데, 그 이유가 무엇이었을까요? 바로 뭘 팔아야 할지 모르는 사람이 대다수였다는 것입니다. 물건을 직접 브랜딩하고 제작해서 판매까지하는 기업이 아닌 오퍼상은, 시즌..