1. 홈
  2. 홈페이지 만들기 가이드
  3. 검색에 나오게

robots.txt 쓰는 법 — 막으면 안 되는 줄과 흔한 실수

robots.txt가 꼭 필요한지 가르는 판정표와 기본 문법, 사이트 전체가 막히는 줄, 실수 5가지를 담았습니다. 올린 뒤 열림 확인과 서치콘솔 검사 순서, 사이트맵 줄 위치도 정리했습니다.

작은 소개 홈페이지나 가게 홈페이지는 robots.txt 가 없어도 검색에 나올 수 있으므로 반드시 만들 필요는 없습니다. 쓴다면 홈페이지 맨 위 주소 바로 아래에 robots.txt 라는 글자 파일로 두고, 막을 곳이 정말 있을 때만 그 폴더만 적습니다. 가장 큰 사고는 Disallow: / 한 줄로 사이트 전체를 막는 것이니, 올린 뒤 반드시 열어 보고 서치콘솔 같은 도구로 검사하세요.

robots.txt 가 무엇이고 꼭 있어야 하나요

robots.txt 는 검색엔진의 방문 프로그램(크롤러, 사이트를 돌아다니며 페이지를 읽어 가는 프로그램)에게 "이 폴더는 읽지 말아 주세요"라고 부탁하는 안내문입니다. 구글 공식 문서도 이 파일은 사이트의 어떤 페이지를 크롤러가 요청해도 되는지 알려 주는 용도라고 설명합니다. 자세한 설명은 로봇 제외 표준 소개(구글 검색 센터)에서 볼 수 있습니다.

핵심은 이 파일이 부탁이라는 점입니다. 규칙을 지키는 검색엔진은 따르지만, 파일 자체가 접근을 물리적으로 막지는 못합니다. 그래서 개인정보나 내부 문서를 숨기는 데 쓰면 안 됩니다. 파일은 누구나 열어 볼 수 있으니 막은 주소 목록이 오히려 길 안내가 됩니다.

또 하나, 막는다고 검색 결과에서 지워지는 것도 아닙니다. 구글 공식 문서는 robots.txt 로 막은 페이지도 다른 곳에서 링크가 걸려 있으면 주소가 검색에 나올 수 있다고 안내합니다. 검색 결과에서 빼는 일은 다른 방법을 써야 하므로 이 글에서는 다루지 않고, 다음 글들로 넘깁니다.

우리 홈페이지에 꼭 있어야 하는지 판정표

우리 상황파일이 필요한가이유와 할 일
페이지 몇 개짜리 소개 홈페이지, 막을 곳 없음없어도 됨모든 페이지가 공개 대상이라 막을 내용이 없다. 사이트맵 줄을 넣고 싶을 때만 만든다
로그인 후 쓰는 관리 화면이 같은 주소에 있음두는 편이 좋음관리 폴더를 읽지 말아 달라고 부탁해 둔다. 단 보안 장치가 아니므로 로그인으로 따로 지킨다
검색할 때마다 주소가 계속 바뀌는 검색창이 있음두는 편이 좋음같은 내용의 주소가 무한히 생겨 방문 프로그램이 낭비될 수 있어 그 폴더를 막는다
제작 서비스나 쇼핑몰 플랫폼 사용이미 있을 수 있음먼저 /robots.txt 를 열어 본다. 있으면 서비스 설정에서 고치는지 확인하고, 직접 올리는 칸이 없으면 서비스 안내를 따른다
아직 만드는 중이라 공개하기 싫음로그인으로 막는 것이 우선전체 차단 줄을 써 두면 나중에 지우는 것을 잊어 공개 후에도 막힌다. 아래 「실수 1」 참고

판정이 애매하면 만들지 않는 쪽이 안전합니다. 파일이 없을 때의 결과는 "막는 곳 없음"이지만, 잘못 쓴 파일의 결과는 "의도하지 않은 차단"일 수 있기 때문입니다.

robots.txt 기본 문법은 어떻게 되나요

파일은 아주 작습니다. 규칙 묶음을 한 개 이상 적는데, 묶음 하나는 "누구에게"와 "어디를"로 이루어집니다. 구글 공식 문서 robots.txt 파일 만들기가 이 문법을 설명합니다. 아래 표는 그 안내 가운데 처음 쓰는 사람이 알아야 할 줄만 골랐습니다.

줄뜻쓰는 꼴
User-agent:이 묶음이 누구에게 하는 말인지. * 는 모든 방문 프로그램User-agent: *
Disallow:읽지 말아 달라는 경로. 값이 비어 있으면 막는 곳 없음Disallow: /admin/
Allow:막은 폴더 안에서 읽어도 되는 경로Allow: /admin/help.html
Sitemap:사이트맵 파일의 전체 주소(https:// 부터)Sitemap: https://www.example.com/sitemap.xml

한 줄에 하나씩 적고, # 으로 시작하는 줄은 메모입니다. 경로는 항상 / 로 시작합니다. 경로를 비교할 때 대소문자를 구별한다는 점은 아래 실수 3에서 다룹니다.

본보기 1 — 막을 곳이 없는 소개 홈페이지

User-agent: *
Disallow:

Sitemap: https://www.example.com/sitemap.xml

Disallow: 뒤를 비워 두면 막는 곳이 없다는 뜻입니다. 이 파일은 사실상 사이트맵 주소를 알려 주는 일만 합니다.

본보기 2 — 관리 폴더만 막는 경우

User-agent: *
Disallow: /admin/
Disallow: /search

Sitemap: https://www.example.com/sitemap.xml

/admin/ 으로 시작하는 주소와 /search 로 시작하는 주소를 읽지 말아 달라는 부탁입니다. 나머지는 모두 열려 있습니다. 여기서 /admin/ 은 보안 장치가 아니므로 관리 화면은 로그인으로 따로 지켜야 합니다.

막으면 안 되는 줄은 무엇인가요

혼자 운영하는 사이트에서 문제가 되는 줄은 따로 모아 둘 만합니다. 아래 줄은 쓰기 전에 한 번 더 확인하세요.

줄결과쓰면 안 되는 이유
Disallow: /사이트 전체 차단/ 는 사이트 맨 위부터 모든 주소를 가리킨다. 공개 중인 사이트에서는 검색용 읽기를 모두 막는 한 줄이다
Disallow: /images/사진 폴더 차단이미지 검색에서 빠질 수 있다. 사진이 홍보 자료라면 막지 않는다
Disallow: /css/, Disallow: /js/화면 모양 파일 차단검색 프로그램이 페이지를 사람이 보는 모양대로 읽지 못해 내용 이해가 틀어질 수 있다
Disallow: /products/상품·서비스 안내 차단손님이 찾는 핵심 페이지를 스스로 가리는 일이다
Disallow: /contact문의 안내 차단문의 페이지를 검색에서 찾는 손님이 있을 수 있다

이 목록을 가리는 기준은 하나입니다. 손님이 검색해서 도착하길 바라는 페이지의 주소가 Disallow 값으로 시작하는가? 시작한다면 줄을 지우거나 더 좁게 고칩니다.

흔한 실수 5가지는 무엇인가요

실수 1 — 공사 중에 쓴 전체 차단 줄을 개업 때 안 지움

사이트를 만드는 동안 검색에 나오지 않게 하려고 Disallow: / 를 넣는 경우가 있습니다. 개업 날 이 줄을 지우지 않으면 사이트가 열려 있어도 검색엔진은 읽지 않습니다. 개업 점검표에 "robots.txt 열어 보기"를 한 줄 넣어 두세요.

실수 2 — 파일을 하위 폴더에 올림

robots.txt 는 사이트 맨 위(루트) 주소에 있어야 합니다. 예를 들어 https://www.example.com/robots.txt 처럼 두며, https://www.example.com/blog/robots.txt 처럼 폴더 안에 두면 검색 프로그램이 찾지 않습니다. 구글 공식 문서도 파일은 사이트 루트에 있어야 한다고 안내합니다. 또한 주소 하나(주소 앞부분이 https://www.example.com 으로 같은 범위)마다 파일이 하나씩 있다고 이해하세요. blog.example.com 처럼 하위 도메인(앞에 이름이 하나 더 붙은 주소)이 따로 있다면 거기에도 따로 둡니다.

실수 3 — 대소문자와 이름을 틀림

파일 이름은 소문자 robots.txt 로 씁니다. Robots.txt 나 robot.txt 는 다른 이름이라 읽히지 않을 수 있습니다. 규칙 안의 경로도 대소문자를 구별한다고 구글 공식 문서가 안내하므로, 실제 주소가 /Admin/ 이면 /admin/ 으로 써서는 막히지 않습니다. 파일은 UTF-8 글자 모양의 일반 글자 파일로 저장하고, 워드프로세서 파일이 되지 않게 메모장이나 코드 편집기로 만듭니다.

실수 4 — 숨기려고 쓰고 비밀번호는 안 걸음

Disallow: /customers/ 처럼 고객 자료 폴더를 적으면, 아는 사람은 그 폴더 이름을 알게 됩니다. 주소를 직접 치면 열리는 상태라면 아무 보호도 되지 않은 것입니다. 숨길 것은 로그인으로 지키고 파일에는 적지 않는 것이 맞습니다.

실수 5 — 사이트맵 줄을 상대 주소로 씀

Sitemap: /sitemap.xml 처럼 앞부분을 빼면 올바르지 않습니다. https:// 로 시작하는 전체 주소를 적습니다. 사이트맵 파일의 형식은 Sitemaps XML format 에 정리되어 있습니다.

어디에 어떻게 올리고 확인하나요

파일은 작은 글자 파일 하나이므로 "만들기 → 올리기 → 열어 보기 → 검사하기" 네 걸음이면 끝납니다.

순서할 일확인할 것
1메모장·코드 편집기로 robots.txt 저장이름이 소문자이고 확장자가 .txt 하나뿐인가
2사이트 맨 위 폴더에 올리기(호스팅 파일 관리·FTP 등)폴더 안이 아니라 첫 화면 파일(index.html 등)과 같은 층인가
3브라우저 주소창에 내주소/robots.txt 입력내가 쓴 글자가 그대로 보이는가. 404 오류나 첫 화면이 나오면 위치·이름 오류
4구글 서치콘솔에서 사이트의 robots.txt 상태 확인마지막으로 읽은 시각과 오류 표시를 본다
5네이버 서치어드바이저의 robots.txt 도구로 확인네이버 공식 안내의 설명대로 올바르게 읽히는지 본다

메뉴 이름은 바뀔 수 있으니 이름이 조금 다르면 비슷한 이름의 메뉴를 찾으세요. 각 검색엔진 등록 순서가 아직 없다면 앞선 글인 구글·네이버 등록 글을 먼저 보세요.

3번에서 주의할 점이 있습니다. 브라우저로 열었을 때 글자가 보인다면 올린 위치는 맞습니다. 다만 검색엔진이 그 파일을 어떻게 읽었는지는 4·5번 도구에서 따로 봅니다. 도구에서 오류가 보이면 줄을 하나씩 지워 가며 원인 줄을 찾습니다.

사이트맵 줄은 어디에 넣나요

Sitemap: 줄은 파일 맨 아래에 두는 것이 읽기 쉽습니다. 규칙 묶음과 상관없이 따로 읽히는 줄이어서 꼭 마지막이어야 하는 것은 아니지만, 한곳에 모아 두면 나중에 고치기 쉽습니다. 사이트맵이 여러 개면 줄을 여러 개 적습니다. 사이트맵 만들기와 제출은 같은 묶음의 사이트맵 글에서 따로 다룹니다.

고친 뒤에는 어떻게 하나요

파일을 고쳤다면 같은 순서로 3번부터 다시 확인합니다. 검색엔진이 파일을 다시 읽는 시점은 각 검색엔진이 정하므로, 몇 시간 안에 반영된다고 약속할 수 없습니다. 급해서 서치콘솔에서 다시 읽기를 요청할 수 있는 화면이 있으면 쓰되, 그것도 보장은 아닙니다.

우리 홈페이지는 어떻게 하면 되나요

홈페이지를 직접 올릴 수 있는 곳에 만드는 중이라면 위 본보기 1을 그대로 쓰는 것으로 충분합니다. 홈페이지를 처음 만들 때는 업종별로 시안을 고르고 문의 양식 같은 기능을 넣어 제작 요청서를 보내는 흐름으로 시작할 수 있으며, 인사책 홈페이지 시안 보기에서 인사책을 쓰는 고객을 위한 무료 제작 안내를 확인할 수 있습니다. 제작을 맡길 때는 요청서에 "공개 전 검색 차단 줄이 있다면 공개 날 지워 주세요", "robots.txt 위치를 알려 주세요" 같은 문구를 적어 두면 개업 날 실수를 줄일 수 있습니다.

제작을 맡기든 직접 만들든 위 판정표로 "필요한가"를 정하고, 만들었다면 열어 보기와 검사까지 해 두면 됩니다.

자주 묻는 질문

robots.txt 가 없으면 검색에 안 나오나요?

아닙니다. 파일이 없으면 검색 프로그램은 막는 곳이 없다고 보고 열려 있는 페이지를 찾아 다닙니다. 없어서 안 나오는 것이 아니라, 잘못 써서 막아 버리는 것이 문제가 됩니다.

robots.txt 로 페이지를 막으면 검색에서 사라지나요?

보장되지 않습니다. robots.txt 는 방문을 막는 요청이지 검색 결과에서 지우는 장치가 아닙니다. 다른 곳에서 그 주소를 링크하면 주소만 결과에 보일 수 있다고 구글 공식 문서가 안내합니다.

비밀번호가 필요한 페이지도 robots.txt 로 숨기면 되나요?

안 됩니다. 파일은 누구나 열어 볼 수 있어서 막은 주소 목록이 오히려 드러납니다. 숨길 페이지는 로그인이나 접근 권한으로 지키세요.

홈페이지 제작 서비스를 쓰는데 파일이 있는지 어떻게 아나요?

주소창에 내 주소 뒤에 /robots.txt 를 붙여 열어 봅니다. 글자가 나오면 이미 있는 것이고, 고칠 수 있는지는 사용 중인 서비스의 안내를 확인합니다.

고친 뒤 얼마나 있어야 반영되나요?

정해진 시간을 약속할 수 없습니다. 검색 프로그램이 파일을 다시 읽는 시점은 각 검색엔진이 정하므로, 올린 뒤 열림 확인과 서치콘솔 검사를 하고 기다리는 것이 안전합니다.

다음에 읽을 글

robots.txt 는 한 번 올리고 잊기 쉬운 작은 파일이라, 사이트를 새로 열거나 주소 구조를 바꿀 때마다 열어 보는 습관이 가장 좋은 예방입니다. 처음부터 홈페이지를 새로 만들 계획이라면 인사책 홈페이지 무료 제작 안내에서 시안을 고르고 제작 요청서를 보내는 흐름을 살펴보세요. 무료 제작을 받으려면 인사책 이용 고객이어야 하므로, 아직이라면 인사책 무료로 시작하기부터 시작하세요.

참고한 자료

  1. https://developers.google.com/search/docs/crawling-indexing/robots/intro?hl=ko — 로봇 제외 표준(robots.txt) 소개(구글 검색 센터)
  2. https://developers.google.com/search/docs/crawling-indexing/robots/create-robots-txt?hl=ko — robots.txt 파일 만들기(구글 검색 센터)
  3. https://searchadvisor.naver.com/guide/seo-basic-robots — robots.txt 설정하기(네이버 서치어드바이저)
  4. https://www.sitemaps.org/protocol.html — Sitemaps XML format

최신 글

같은 묶음 이어 읽기 — 검색에 나오게