robots.txt란? 블로그 SEO를 위한 설정 방법
블로그 운영 중 ‘robots.txt’ 파일에 대해 들어본 적 있으신가요?
검색엔진 최적화(SEO)를 제대로 하려면 이 작은 파일 설정이 매우 중요합니다.
robots.txt는 검색엔진 크롤러에게 “어느 페이지를 방문해도 좋고, 어느 페이지는 방문하지 말라”를 알려주는 가이드 역할을 합니다.
잘 설정하면 블로그의 검색 노출에 큰 도움이 되고, 원하지 않는 페이지 노출을 막을 수 있습니다.
이번 글에서는 robots.txt의 기본 개념부터 작성법, SEO에 유리한 설정법까지
쉽고 명확하게 설명해 드리겠습니다.
✅ robots.txt란 무엇인가요?
- robots.txt는 웹사이트 최상단에 위치한 텍스트 파일입니다.
- 검색엔진 로봇(크롤러)에게 어떤 페이지를 크롤링(수집)해도 되는지 알려주는 ‘신호등’ 같은 존재입니다.
- 예를 들어, 회원가입 페이지, 관리자 페이지 같은 내부 페이지는 크롤러가 방문하지 않도록 할 수 있습니다.
✅ robots.txt가 SEO에 중요한 이유
- 불필요한 페이지 크롤링 차단
- 중복 콘텐츠, 개인정보 페이지 등을 크롤링하지 못하게 막아 SEO 점수를 지킬 수 있습니다.
- 서버 부하 감소
- 크롤러가 불필요한 페이지를 방문하지 않아 서버 트래픽 부담이 줄어듭니다.
- 검색엔진에 명확한 신호 전달
- 어떤 페이지를 노출시키고 싶은지 명확히 하여, 검색엔진 최적화 효과 극대화
✅ robots.txt 기본 구조 및 작성법
txt
CopyEdit
User-agent: * Disallow: /wp-admin/ Disallow: /private/ Allow: /wp-admin/admin-ajax.php Sitemap: https://내도메인.com/sitemap.xml
- User-agent: 검색엔진 로봇을 지정 (*는 모든 로봇을 뜻함)
- Disallow: 접근 금지할 경로 지정
- Allow: 접근 허용 경로 지정 (Disallow 아래 예외 설정 시 사용)
- Sitemap: 사이트맵 파일 위치 알려주기 (검색엔진에 사이트맵 URL 제출)
✅ 블로그에 맞춘 robots.txt 설정 예시
1. 워드프레스 블로그용
txt
CopyEdit
User-agent: * Disallow: /wp-admin/ Disallow: /wp-login.php Allow: /wp-admin/admin-ajax.php Sitemap: https://내도메인.com/sitemap_index.xml
2. 티스토리 블로그용 (기본적용됨)
- 티스토리는 자동으로 robots.txt 관리되지만,
- 개인 도메인 연결 시 별도 robots.txt 추가 가능
✅ robots.txt 작성 시 주의할 점
주의사항설명
| 모든 페이지 차단 금지 | 중요한 페이지가 검색에 노출되지 않을 수 있음 |
| 문법 오류 주의 | 오타나 공백이 있으면 크롤러가 무시할 수 있음 |
| 사이트맵 URL 반드시 포함 | 검색엔진이 최신 사이트 구조를 쉽게 알도록 도움 |
| 테스트 도구 활용 | 구글 서치 콘솔 ‘robots.txt 테스트’로 문제점 점검 권장 |
✅ robots.txt 등록 및 확인 방법
1. FTP나 호스팅 관리자에서 최상위 폴더에 업로드
- 파일명은 반드시 robots.txt
- 반드시 텍스트 파일로 저장 (확장자 .txt)
2. 웹 브라우저에 도메인 뒤에 /robots.txt 입력해 확인 가능
예) https://내도메인.com/robots.txt
3. 구글 서치 콘솔에서 테스트 및 제출
- ‘설정 > 크롤링 > robots.txt 테스터’ 메뉴 활용
✅ 요약 정리
- robots.txt는 검색엔진 크롤러에게 ‘크롤링 허용/비허용’을 알려주는 파일
- 불필요한 페이지 차단으로 SEO 점수와 서버 효율성 향상 가능
- 꼭 사이트맵 URL을 포함시켜 검색엔진에 최신 구조를 알릴 것
- 작성 후에는 반드시 테스트 도구로 오류 여부 확인해야 함
📝 마무리
robots.txt는 초보자가 쉽게 간과하기 쉬운 SEO 핵심 파일이지만,
정확히 설정하면 내 블로그가 더 빠르고 정확하게 검색 노출되는 데 큰 도움이 됩니다.
이제부터는 내 블로그의 ‘크롤링 안내서’ 역할을 하는 robots.txt를 꼭 관리해보세요.
검색엔진과 방문자 모두에게 신뢰받는 블로그로 성장할 수 있습니다!