웹 크롤링과 스크래핑의 차이점

비개발자가 쉽게 설명하는 웹 크롤링(Crawling)과 웹 스크래핑(Scraping)의 차이점

웹 스크래핑 기술이 필요한가?

만일 여러 업체의 생두 가격을 한 플랫폼에서 비교하고자 한다면, 웹 스크래핑이 매우 유용한 기술입니다:

장점
- 자동으로 여러 사이트에서 가격을 수집하고 업데이트 가능
- 검색이나 필터 기능과 함께 가격 트렌드 비교 기능 구현 가능
고려사항
- 웹사이트마다 HTML 구조가 달라 크롤러 구현 복잡도 있음
- 사이트의 robots.txt나 약관에서 크롤링 금지 여부 확인 필요
- 스크래핑보다 공식 API 제공이나 데이터 파트너십이 있다면 법적/기술적 안정성 확보 가능
대안 방법
- 판매 업체들과 제휴를 맺어 API 방식으로 가격 제공받기
- 사용자들이 직접 가격을 올리는 커뮤니티 기반 플랫폼 구축 (명시적 동의 필요)

정리 Table

항목	내용
정가 판매 업체	GSC, G마켓, Ubuy 등
가격 비교 사이트 현황	전문 플랫폼은 없고, Tridge 등 데이터 제공 수준
웹 스크래핑 필요성	다수 사이트 가격 자동 수집 및 비교에 유리함
유의사항	법/기술 안정성, robots.txt 준수, API 우선 고려

웹 기반 생두 가격 비교 플랫폼을 고려하신다면, MVP(Minimum Viable Product) 형태로 시작하는 것도 추천드립니다. 예를 들어:

GSC와 G마켓 생두 가격 크롤링해서 간단한 비교 테이블 제공
이후 커뮤니티 피드백, 수입업체 연계 API, CSV 연동 방식으로 기능 확장

🔎 API 우선 고려란?

웹 스크래핑
- 브라우저처럼 웹페이지 HTML을 읽고 → 원하는 데이터를 추출(파싱)하는 방식
- 일종의 “봇”이 웹사이트에 접속해서 사람처럼 데이터를 긁어오는 것
- 사이트 구조 변경되면 코드 깨지기 쉽고, 법적 제약(약관/robots.txt 위반) 위험 있음
API 활용
- 데이터를 제공하는 업체가 공식적으로 제공하는 인터페이스를 통해, JSON·XML 등 구조화된 데이터 요청
- “데이터를 달라”고 명시적으로 요청해서 받는 방식 → 안정적이고 합법적
- 예:
```
GET <https://api.gsc-coffee.co.kr/v1/greenbeans?origin=ethiopia>
```
  이런 식으로 하면, 정리된 데이터(품목명, 가격, 재고)가 JSON으로 반환됨