상품권 시세 자동수집에서 robots.txt를 확인하는 이유
공개 웹페이지라도 사이트 운영자가 자동 접근에 대한 정책을 robots.txt로 제시할 수 있습니다. 수집기는 이를 확인하고 과도한 요청을 피하는 편이 좋습니다.
접근 허용 경로를 확인합니다
차단된 경로는 자동수집 대상에서 제외합니다.
요청 간격을 둡니다
짧은 시간에 반복 호출하지 않습니다.
공식 API가 있으면 우선합니다
구조 변경 위험과 서버 부담이 더 적습니다.
다른 가이드
같은 문장을 상품권 이름만 바꿔 반복하지 않고, 서로 다른 질문을 다룹니다.