내가 관리하던 사이트의 검색 노출을 점검한 적이 있다. 일단 검색도구에 등록하는 것부터 진행할 수 있었지만 운영 파일을 확인하니 검색을 막는 설정이 남아 있었다.
2026-10-21 작업 기록과 당시 내려받은 파일을 다시 대조했다. robots.txt에는 전체 경로를 막는 규칙이 있었고 페이지 공통 메타에는 noindex도 들어 있었다. 사이트와 고객을 알아볼 수 있는 이름·주소는 이 글에서 뺐다.
서로 다른 차단 설정이 같이 있었다
아래는 당시 원본에서 확인한 설정 일부다. 화면을 재현한 이미지가 아니라 파일에 있던 값을 옮긴 것이다.
User-agent: *
Disallow: /페이지 공통 메타의 값은 noindex, nofollow, noarchive였다. 이 둘은 같은 기능으로 볼 수 없다. robots.txt는 크롤러의 접근을 다루고 noindex는 페이지를 읽은 검색엔진에 색인 제외를 알리는 설정이다.
Google은 robots.txt로 막힌 페이지의 noindex를 읽을 수 없다고 안내한다. 그래서 두 설정이 있다고 검색 결과에서 무조건 사라지는 것도 아니다. 내 사이트의 당시 검사에도 홈페이지가 이미 등록돼 있지만 robots.txt로 차단됐다는 기록이 있었다.
공개할 페이지를 정하고 설정을 바꿨다
전체 차단을 풀면서 모든 경로를 검색에 열지는 않았다. 홈과 비회원이 볼 수 있는 공개 소식 등 필요한 페이지만 색인을 허용했다. 로그인·검색·비밀글·관리 경로의 제외 조건은 유지했다.
공개 권한을 확인해 URL을 넣는 사이트맵도 준비했다. 당시 목록은 11개였다. 원격 원본을 백업하고 관련 파일 3개를 반영한 뒤 다시 내려받아 해시가 일치하는지 확인했다. 내 컴퓨터에서 수정한 파일과 운영 서버에 올라간 파일을 구분하려고 한 확인이다.
대표 주소도 당시 실제 접속 상태에 맞춰 정했다. HTTPS 연결이 실패해 그 작업에서는 HTTP로 우선 진행했다. 인증서 문제까지 해결한 사례로 보면 안 된다.
수정한 설정과 검색엔진 결과는 따로 봤다
공개 URL 11개의 응답과 메타, 사이트맵 XML을 점검했다. Googlebot·Yeti·모바일 이름으로 보낸 요청에서도 사이트맵은 HTTP 200과 XML 형식으로 응답했다. 이것만으로 실제 검색엔진의 수집 완료를 판단하지는 않았다.
서치콘솔 실시간 검사에서는 색인을 생성할 수 있다는 결과를 확인했고 홈페이지 색인 생성 요청도 접수됐다. 네이버에서는 robots 수집 가능과 홈페이지 수집 요청 접수를 확인했다.
근데 Google 사이트맵 목록은 마지막까지 가져올 수 없음, 발견된 페이지 0이었다. 설정 수정과 요청 접수는 끝났지만 사이트맵 처리까지 성공한 기록은 아니었다.
내가 해결했다고 적을 수 있는 범위
| 확인 대상 | 당시 결과 |
|---|---|
| 공개 페이지의 전체 접근 차단 | 설정 수정·운영 응답 확인 |
| Google 실시간 검사 | 색인 가능·요청 접수 |
| Google 사이트맵 가져오기 | 실패 표시 유지 |
| 11개 URL 전체 색인 | 미확인 |
| 검색 노출·클릭 증가 | 미측정 |
공개 페이지의 차단 설정을 수정하고 운영 응답까지 대조했다. 이 기록에서 확인한 범위는 여기까지다. 글을 더 올리기 전에 이런 설정부터 확인할 필요가 있었다. 사이트맵 실패 원인은 상세 오류와 수집 기록으로 더 좁혀야 했고 캐시나 방화벽 때문이라고 단정하지 않았다.
별도 워드프레스 사이트에서 사이트맵 성공 표시를 확인한 과정은 사이트맵 가져오기 확인 기록에 적었다. 서로 다른 사이트의 사례이며 이 글의 실패 상태가 그 뒤 해결됐다는 뜻은 아니다.
robots.txt와 noindex는 역할이 다르다
나는 robots.txt를 크롤러가 어느 경로를 가져갈 수 있는지 정하는 규칙으로, noindex를 검색 결과에 색인하지 말라는 지시로 구분한다. robots.txt로 막았다는 사실만으로 이미 알려진 주소가 검색 결과에서 사라졌다고 판단할 수는 없다.
noindex는 페이지의 메타 태그나 HTTP 응답 헤더에 들어갈 수 있다. Google이 이 지시를 읽으려면 해당 페이지에 접근할 수 있어야 한다. 공개할 페이지의 색인이 목적이라면 남아 있는 noindex와 접근 차단을 함께 살핀다. 반대로 비공개 자료는 검색 설정에만 기대지 않고 접근 권한을 확인해야 한다.
이 구분은 위 사례를 읽기 위한 일반 설명이다. 설정을 바꾼 뒤 실제 색인 상태를 확인하는 방법은 내가 정리한 URL 검사 기준으로 이어서 볼 수 있다.
참고 자료
- Google의 noindex 안내