Robots.txt 설정

아래에서 사이트의 크롤링 규칙을 설정하세요

User-agent

크롤링 지연 (초)

사이트맵 URL

규칙

생성된 robots.txt

Real-time preview

개인정보 보호 우선

모든 생성 작업은 브라우저에서 로컬로 이루어집니다. 사용자의 규칙이나 사이트 정보를 저장하지 않습니다.

실시간 미리보기

규칙과 설정을 추가할 때마다 robots.txt 파일이 실시간으로 업데이트되는 것을 확인하세요.

100% 전문적

공식 웹 표준과 프로토콜을 따르는 SEO 최적화된 robots.txt 파일을 생성합니다.

Robots.txt 생성기 정보

Robots.txt 생성기는 검색 엔진 크롤러에게 사이트의 어떤 페이지나 섹션을 인덱싱해야 하는지 알려주는 필수 SEO 도구입니다. 잘 구성된 robots.txt는 크롤링 예산을 관리하고, 비공개 영역의 인덱싱을 방지하며, 검색 엔진이 가장 중요한 부분에 집중하도록 돕습니다.

FAQ

자주 묻는 질문

robots.txt 파일이란 무엇인가요?

Robots.txt는 웹마스터가 웹 로봇(주로 검색 엔진 로봇)에게 웹사이트의 페이지를 어떻게 크롤링해야 하는지 지시하기 위해 작성하는 텍스트 파일입니다.

robots.txt 파일은 어디에 두어야 하나요?

Robots.txt 파일은 웹사이트의 루트 디렉토리에 위치해야 합니다 (예: https://example.com/robots.txt).

robots.txt가 검색 결과에서 페이지 노출을 완전히 차단하나요?

반드시 그렇지는 않습니다. 크롤링은 방지하지만, 다른 곳에서 링크된 경우 인덱싱될 수 있습니다. 확실한 차단을 위해서는 'noindex' 메타 태그를 사용하십시오.

모범 사례 (Tips)

1CSS, JavaScript, 이미지 파일은 차단하지 마십시오. 검색 엔진이 페이지를 이해하는 데 필요합니다.
2항상 robots.txt 파일의 끝에 사이트맵 URL을 포함하십시오.
3실수로 'Disallow: /'를 설정하여 사이트 전체 인덱싱이 차단되지 않았는지 확인하십시오.
4파일 크기를 작게 유지하십시오. 대부분의 크롤러는 처음 몇 백 킬로바이트만 읽습니다.