Skip to content
Tools/robots.txt 생성기

robots.txt 생성기

Robots.txt Generator

검색 엔진 크롤러 허용/차단 규칙, sitemap URL, 안전 경고를 포함한 robots.txt를 생성하세요.

개발 유틸

크롤 정책

robots.txt 생성기

검색 엔진 크롤러에게 열어둘 경로와 막을 경로를 정리해 배포용 robots.txt를 만듭니다.

AI 크롤러

생성형 AI 봇별로 허용/차단 규칙을 추가합니다. 기본값을 선택하면 robots.txt에 아무것도 추가되지 않습니다.

GPTBot · OpenAI

OpenAI가 GPT 모델 학습용 데이터를 수집할 때 사용하는 크롤러입니다.

ClaudeBot · Anthropic

Anthropic이 Claude 모델 개선을 위해 웹 데이터를 수집하는 크롤러입니다.

PerplexityBot · Perplexity

Perplexity AI 답변 엔진의 검색 인덱스를 만드는 크롤러입니다.

Google-Extended · Google

Gemini 등 Google AI 학습에 내 콘텐츠를 사용할지 제어하는 토큰입니다.

CCBot · Common Crawl

Common Crawl의 크롤러로, 수집된 공개 데이터셋은 AI 학습에 널리 쓰입니다.

결과

복사용 robots.txt

User-agent: *
Allow: /
Disallow: /admin
Disallow: /api/private

Sitemap: https://www.youngju.dev/sitemap.xml

안전 점검

  • 큰 위험 신호는 없습니다. 배포 전 실제 도메인의 sitemap URL만 확인하세요.

이어서 해볼 도구

같은 흐름으로 이어지는 도구를 골라 두었습니다.