카테고리 없음

robots.txt란? 블로그 SEO를 위한 설정 방법

info-131 2025. 5. 18. 06:40

robots.txt란? 블로그 SEO를 위한 설정 방법

블로그 운영 중 ‘robots.txt’ 파일에 대해 들어본 적 있으신가요?
검색엔진 최적화(SEO)를 제대로 하려면 이 작은 파일 설정이 매우 중요합니다.

robots.txt는 검색엔진 크롤러에게 “어느 페이지를 방문해도 좋고, 어느 페이지는 방문하지 말라”를 알려주는 가이드 역할을 합니다.
잘 설정하면 블로그의 검색 노출에 큰 도움이 되고, 원하지 않는 페이지 노출을 막을 수 있습니다.

이번 글에서는 robots.txt의 기본 개념부터 작성법, SEO에 유리한 설정법까지
쉽고 명확하게 설명해 드리겠습니다.

✅ robots.txt란 무엇인가요?

robots.txt는 웹사이트 최상단에 위치한 텍스트 파일입니다.
검색엔진 로봇(크롤러)에게 어떤 페이지를 크롤링(수집)해도 되는지 알려주는 ‘신호등’ 같은 존재입니다.
예를 들어, 회원가입 페이지, 관리자 페이지 같은 내부 페이지는 크롤러가 방문하지 않도록 할 수 있습니다.

✅ robots.txt가 SEO에 중요한 이유

불필요한 페이지 크롤링 차단
- 중복 콘텐츠, 개인정보 페이지 등을 크롤링하지 못하게 막아 SEO 점수를 지킬 수 있습니다.
서버 부하 감소
- 크롤러가 불필요한 페이지를 방문하지 않아 서버 트래픽 부담이 줄어듭니다.
검색엔진에 명확한 신호 전달
- 어떤 페이지를 노출시키고 싶은지 명확히 하여, 검색엔진 최적화 효과 극대화

✅ robots.txt 기본 구조 및 작성법

txt

CopyEdit

User-agent: * Disallow: /wp-admin/ Disallow: /private/ Allow: /wp-admin/admin-ajax.php Sitemap: https://내도메인.com/sitemap.xml

User-agent: 검색엔진 로봇을 지정 (*는 모든 로봇을 뜻함)
Disallow: 접근 금지할 경로 지정
Allow: 접근 허용 경로 지정 (Disallow 아래 예외 설정 시 사용)
Sitemap: 사이트맵 파일 위치 알려주기 (검색엔진에 사이트맵 URL 제출)

✅ 블로그에 맞춘 robots.txt 설정 예시

1. 워드프레스 블로그용

txt

CopyEdit

User-agent: * Disallow: /wp-admin/ Disallow: /wp-login.php Allow: /wp-admin/admin-ajax.php Sitemap: https://내도메인.com/sitemap_index.xml

2. 티스토리 블로그용 (기본적용됨)

티스토리는 자동으로 robots.txt 관리되지만,
개인 도메인 연결 시 별도 robots.txt 추가 가능

✅ robots.txt 작성 시 주의할 점

주의사항설명

모든 페이지 차단 금지	중요한 페이지가 검색에 노출되지 않을 수 있음
문법 오류 주의	오타나 공백이 있으면 크롤러가 무시할 수 있음
사이트맵 URL 반드시 포함	검색엔진이 최신 사이트 구조를 쉽게 알도록 도움
테스트 도구 활용	구글 서치 콘솔 ‘robots.txt 테스트’로 문제점 점검 권장

✅ robots.txt 등록 및 확인 방법

1. FTP나 호스팅 관리자에서 최상위 폴더에 업로드

파일명은 반드시 robots.txt
반드시 텍스트 파일로 저장 (확장자 .txt)

2. 웹 브라우저에 도메인 뒤에 /robots.txt 입력해 확인 가능

예) https://내도메인.com/robots.txt

3. 구글 서치 콘솔에서 테스트 및 제출

‘설정 > 크롤링 > robots.txt 테스터’ 메뉴 활용

✅ 요약 정리

robots.txt는 검색엔진 크롤러에게 ‘크롤링 허용/비허용’을 알려주는 파일
불필요한 페이지 차단으로 SEO 점수와 서버 효율성 향상 가능
꼭 사이트맵 URL을 포함시켜 검색엔진에 최신 구조를 알릴 것
작성 후에는 반드시 테스트 도구로 오류 여부 확인해야 함

📝 마무리

robots.txt는 초보자가 쉽게 간과하기 쉬운 SEO 핵심 파일이지만,
정확히 설정하면 내 블로그가 더 빠르고 정확하게 검색 노출되는 데 큰 도움이 됩니다.

이제부터는 내 블로그의 ‘크롤링 안내서’ 역할을 하는 robots.txt를 꼭 관리해보세요.
검색엔진과 방문자 모두에게 신뢰받는 블로그로 성장할 수 있습니다!