쿠팡과 같은 쇼핑몰 데이터를 이용한리뷰 데이터를 활용한 고객 만족도 분석 및 추천,판매 데이터 분석을 통한 수요 예측을 하기로 큰 갈피를 잡음 우선은 크롤링을 먼저 시도해보기로 했다대형 쇼핑몰은 크롤링에 대해 우호적이지 않아서어떠한 데이터를 수집할 수 있는지 여부에 따라 할 수 있는것이 바뀌기 때문이다 크롤링문제 1. postman에서의 단순 get 요청은 거부 당함-> 유저 인증 토큰 넣어서 get 요청 문제 2. 단순 get으로 가져온 데이터는 상품 정보는 가져 오지만 리뷰데이터는 가져 오지 않음-> 리뷰는 10개씩 끊어서 쿠팡에서 자체적으로 가져옴. 리뷰의 페이지의 다음페이지 눌렀을때 비동기 요청으로 일반 유저가 알 수 없는 api로 요청을 보내기 때문-> 셀레니움으로 페이지 하나하나 넘기면서 리뷰..