robots.txt 생성기
Robots.txt Generator
검색 엔진 크롤러 허용/차단 규칙, sitemap URL, 안전 경고를 포함한 robots.txt를 생성하세요.
Crawl policy
robots.txt 생성기
검색 엔진 크롤러에게 열어둘 경로와 막을 경로를 정리해 배포용 robots.txt를 만듭니다.
Output
Copy-ready robots.txt
User-agent: * Allow: / Disallow: /admin Disallow: /api/private Sitemap: https://www.youngju.dev/sitemap.xml
Safety notes
- 큰 위험 신호는 없습니다. 배포 전 실제 도메인의 sitemap URL만 확인하세요.