robots.txt
검색엔진 크롤러에 ‘접근 정책’을 알려주는 표준 파일
robots.txt는 검색엔진 크롤러(봇)에게 어떤 경로를 크롤링해도 되는지 알려주는 파일입니다. 보통 사이트 루트에 https://example.com/robots.txt 형태로 둡니다.
핵심 포인트
robots.txt는 크롤링 제어이고, 인덱싱 제어(노출 차단)는 아닙니다.- 보안 용도가 아닙니다. 민감한 경로를 숨기지 못합니다.
- 사이트맵 URL을 함께 명시하는 패턴이 흔합니다.
예시
User-agent: *
Allow: /
Sitemap: https://dev.playcity.kr/sitemap-index.xml