상품권레이더는 시세를 어떻게 자동으로 모으나요?
자동수집은 웹페이지에 보이는 숫자를 무조건 가져오는 작업이 아닙니다. 사이트 접근 정책과 데이터 구조를 확인하고 오류가 생겼을 때 잘못된 가격이 노출되지 않도록 방어가 필요합니다.
공개 페이지와 접근 규칙을 확인합니다
robots.txt가 수집을 막는 경로는 자동수집 대상에서 제외합니다.
구조 변경을 오류로 감지합니다
갑자기 0건이 되거나 읽은 상품 수가 크게 줄면 가격이 떨어진 것이 아니라 파서가 깨진 것으로 봅니다.
큰 이상치는 자동반영하지 않습니다
최근값과 큰 폭으로 차이나면 검토 대기열로 보내 사람이 원문을 확인할 수 있게 합니다.