Robots.txt 설정
아래에서 사이트의 크롤링 규칙을 설정하세요
생성된 robots.txt
Real-time preview
개인정보 보호 우선
모든 생성 작업은 브라우저에서 로컬로 이루어집니다. 사용자의 규칙이나 사이트 정보를 저장하지 않습니다.
실시간 미리보기
규칙과 설정을 추가할 때마다 robots.txt 파일이 실시간으로 업데이트되는 것을 확인하세요.
100% 전문적
공식 웹 표준과 프로토콜을 따르는 SEO 최적화된 robots.txt 파일을 생성합니다.
Robots.txt 생성기 정보
Robots.txt 생성기는 검색 엔진 크롤러에게 사이트의 어떤 페이지나 섹션을 인덱싱해야 하는지 알려주는 필수 SEO 도구입니다. 잘 구성된 robots.txt는 크롤링 예산을 관리하고, 비공개 영역의 인덱싱을 방지하며, 검색 엔진이 가장 중요한 부분에 집중하도록 돕습니다.
자주 묻는 질문
모범 사례 (Tips)
- 1CSS, JavaScript, 이미지 파일은 차단하지 마십시오. 검색 엔진이 페이지를 이해하는 데 필요합니다.
- 2항상 robots.txt 파일의 끝에 사이트맵 URL을 포함하십시오.
- 3실수로 'Disallow: /'를 설정하여 사이트 전체 인덱싱이 차단되지 않았는지 확인하십시오.
- 4파일 크기를 작게 유지하십시오. 대부분의 크롤러는 처음 몇 백 킬로바이트만 읽습니다.