커피가격 계산기만들기

커피가격 계산기

개발 배경

핸드드립 커피를 즐기면서, 커피를 주기적으로 살때마다 생기는 원두의 선호도 라던가, 즐기는 원두의 시세가 변함에 따라 어디에서 사는지 항상 고민하는데 드는 시간이 아깝다고 느꼈다.

요구 사항

1. 프로그램이 주기적으로 켜져있어 커피 가격에 대한 시세를 크롤링으로 받아온다.
2. 보통 1회분량의 커피를 (핸드드립 기준) 사용할때마다 용량대비 가격을 계산한다.
3. 용량은 보통 1kg로 고정을 시켜놓고, 로스팅 수준이랑 원두 산지별로 나타내는 가격들을 분석한다.
4. 사용자에게는 총 5개정도의 선택지를 제공하며, 선택지를 선택할 경우 url을 반환한다.

   개발 과정

   이론

5. 시세를 받아오기위해 크롤링 준비를 Jsoup를 사용
   1. 원두 구매를 위해 사용하는 사이트들을 정리하면서, 사이트 구조 분석
   2. 실제로 그 사이트에서 크롤링을 통해 가격정보를 받아올수 있는지 확인
   3. 상품 이름, 원두 중량 그리고 원두 가격, url을 받아온다.
6. 받아온 정보들을 string으로 전처리를 먼저 하고 열에 가격/중량 데이터를 추가한다.
7. 모든 데이터에서 가격/중량 데이터를 비교해서 중복제거후 상위 5개만 출력한다.
8. 사이트 확장및 db 관리에 대해서는 향후 고민..

   실재

9. jsoup로 비동기 데이터 처리 불가.
10. selenium 또는 beautifulsoup로 파이참에서 실행후 정보 csv 저장예정 ->selenium과 beautifulsoup의 크롤링 속도 차이 사후 과제
11. selenium으로 첫번째 시도![[스크린샷 2022-11-15 00.09.42.png]]