robots.txt 생성기
Robots.txt Generator
검색 엔진 크롤러 허용/차단 규칙, sitemap URL, 안전 경고를 포함한 robots.txt를 생성하세요.
크롤 정책
robots.txt 생성기
검색 엔진 크롤러에게 열어둘 경로와 막을 경로를 정리해 배포용 robots.txt를 만듭니다.
AI 크롤러
생성형 AI 봇별로 허용/차단 규칙을 추가합니다. 기본값을 선택하면 robots.txt에 아무것도 추가되지 않습니다.
GPTBot · OpenAI
OpenAI가 GPT 모델 학습용 데이터를 수집할 때 사용하는 크롤러입니다.
ClaudeBot · Anthropic
Anthropic이 Claude 모델 개선을 위해 웹 데이터를 수집하는 크롤러입니다.
PerplexityBot · Perplexity
Perplexity AI 답변 엔진의 검색 인덱스를 만드는 크롤러입니다.
Google-Extended · Google
Gemini 등 Google AI 학습에 내 콘텐츠를 사용할지 제어하는 토큰입니다.
CCBot · Common Crawl
Common Crawl의 크롤러로, 수집된 공개 데이터셋은 AI 학습에 널리 쓰입니다.
결과
복사용 robots.txt
User-agent: * Allow: / Disallow: /admin Disallow: /api/private Sitemap: https://www.youngju.dev/sitemap.xml
안전 점검
- 큰 위험 신호는 없습니다. 배포 전 실제 도메인의 sitemap URL만 확인하세요.