새 블로그를 열고 글을 서른 개쯤 쓴 뒤 검색엔진 콘솔에 들어가 보면 "사이트맵을 제출하세요"라는 안내가 보여요. 주소 서른 개를 한 줄씩 적은 텍스트 파일이면 되는 줄 알았는데, XML이라는 말에 막히는 순간이죠. 사이트맵은 <urlset> 안에 <url><loc>주소</loc></url>을 주소마다 하나씩 쌓은 UTF-8 XML 파일이고, 주소 하나를 넣는 데 필요한 건 loc 한 줄이 전부예요.
문제는 만드는 쪽이 아니라 그다음이에요. robots.txt에서 막아 둔 주소를 사이트맵에 넣거나, noindex를 넣은 페이지를 사이트맵에 올려서 콘솔에 경고가 쌓이는 경우가 많거든요. 이 글은 사이트맵 XML을 직접 만드는 법, 세 가지 신호(sitemap·robots·noindex)의 역할, 올린 뒤 확인 순서를 손으로 계산한 숫자와 함께 정리했어요.
사이트맵 XML은 이렇게 생겼어요
가장 작은 사이트맵은 아래 모양이에요. 주소 세 개, lastmod 없이 만들면 줄바꿈까지 포함해 249바이트가 나와요(직접 세어 본 값이에요).
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url><loc>https://example.com/</loc></url>
<url><loc>https://example.com/a/</loc></url>
<url><loc>https://example.com/b/</loc></url>
</urlset>
필수는 네 가지뿐이에요. 첫 줄의 XML 선언(UTF-8), 최상위 urlset과 이름공간(xmlns), 주소마다 url, 그 안의 loc. 이 중 하나라도 빠지거나 태그를 안 닫으면 콘솔이 "파일을 읽을 수 없음"이라고 알려 줘요.
주소 개수에 따라 파일 크기는 얼마나 될까요
주소 하나( <url><loc>https://example.com/a/</loc></url> + 줄바꿈)는 주소 길이에 따라 달라지고, 주소가 평균 40글자일 때 대략 70바이트예요. lastmod를 붙이면 <lastmod>2026-11-17</lastmod> 29바이트가 더해져 약 100바이트가 되고요. 이 평균으로 계산하면 이렇게 돼요.
| 주소 수 | lastmod 없음(약 70B) | lastmod 있음(약 100B) |
|---|---|---|
| 100개 | 약 7KB | 약 10KB |
| 1,000개 | 약 70KB | 약 100KB |
| 10,000개 | 약 700KB | 약 1MB |
| 50,000개 | 약 3.5MB | 약 5MB |
50,000개를 꽉 채워도 50MB 한도의 10분의 1 정도라, 현실적으로 먼저 걸리는 건 개수 5만 개 쪽이에요. 한글 주소를 퍼센트 인코딩하지 않고 쓰면 글자당 3바이트인데, 주소 안 한글은 보통 URL 인코더로 바꾼 형태(%EC%84%9C…)로 적어 두는 편이 파서마다 해석이 달라지는 일을 줄여요.
넘으면 사이트맵 파일을 여러 개로 나누고, 그 파일들을 가리키는 sitemapindex 파일 하나를 만들어 그것만 제출하면 돼요.
& 하나가 파일 전체를 깨뜨려요
검색 결과 페이지나 필터 주소는 ?q=a&page=2처럼 &가 들어가요. XML에서 &는 특수문자라 그대로 쓰면 파일 전체가 파싱 오류가 나요. &로 바꿔 써야 해요.
| 문자 | XML에서는 |
|---|---|
& | & |
< | < |
> | > |
" | " |
' | ' |
그래서 https://example.com/s?q=a&page=2는 <loc>https://example.com/s?q=a&page=2</loc>로 적어요. 손으로 하다 한 군데 빠뜨리기 쉬운 부분이라, 만들기 도구는 바꾼 주소 수를 따로 보여 줘요.
sitemap·robots·noindex, 누가 무슨 일을 하나요
세 가지는 비슷해 보여도 하는 일이 달라요. 구글 검색 센터 문서의 설명을 기준으로 정리하면 이래요.
- sitemap.xml: 크롤러에게 주소를 알려 줘요. 힌트라서 색인을 보장하지 않아요.
- robots.txt: 크롤러가 어디를 가져갈지 조절해요. 검색결과에서 숨기는 수단이 아니에요(robots.txt 생성기에서 줄 읽는 법을 볼 수 있어요).
- noindex 메타 태그: 페이지를 색인에서 빼요. 크롤러가 페이지를 읽어야 이 신호도 읽혀요.
같이 걸면 부딪히는 조합
| 설정 조합 | 일어나는 일 |
|---|---|
| 사이트맵에 넣음 + robots.txt 로 막음 | 알려 주면서 못 가져가게 하는 모순. 콘솔에 경고가 떠요 |
| noindex 를 넣음 + robots.txt 로 막음 | 로봇이 페이지를 못 읽어 noindex 가 읽히지 않아요 |
| 사이트맵에 넣음 + noindex | "색인해 주세요"와 "빼 주세요"가 같이 있는 모순 |
| 사이트맵에 넣음 + 리디렉션되는 옛 주소 | 최종 주소가 아니라 효율이 떨어져요 |
해결 원칙은 하나예요. 색인되길 원하는 주소만 사이트맵에 넣고, 그 주소는 robots.txt 로 막지 않으며, noindex 도 없어야 해요. 색인에서 빼고 싶은 페이지는 사이트맵에서 빼고 noindex 만 남겨요.
lastmod, 넣을까 말까
lastmod는 2026-11-17 형식(W3C 날짜)으로 적어요. 구글은 lastmod 값이 실제 수정 시각과 꾸준히 맞을 때 참고한다고 설명해요. 빌드 때마다 모든 페이지를 오늘 날짜로 일괄 갱신하면 신호의 의미가 사라지니, 내용이 실제로 바뀐 페이지만 날짜를 갱신하고, 모르면 비워 두는 편이 나아요.
changefreq와 priority는 구글이 사용하지 않는다고 밝힌 항목이에요. 빙 같은 다른 엔진이 어떻게 쓰는지는 엔진마다 달라서, 굳이 넣을 이유가 없으면 생략해도 문제없어요.
직접 만드는 4단계
- 모으기: 색인되길 원하는 최종 주소만 한 줄에 하나씩 모아요. 끝 슬래시, https, www 유무를 사이트에서 쓰는 형태 그대로 통일해요.
- 거르기: noindex 페이지, robots.txt 로 막은 경로, 리디렉션되는 옛 주소, 로그인해야 보이는 페이지를 빼요.
- 만들기: 목록을 사이트맵 만들기에 붙여넣으면 중복 제거·
&변환·크기 계산까지 해 줘요. 경로만 적은 줄에는 사이트 주소가 붙어요. - 올리고 알리기: 사이트 최상위에
sitemap.xml로 올리고, robots.txt 에Sitemap: https://내도메인/sitemap.xml한 줄을 적은 뒤 서치콘솔·네이버 서치어드바이저에 제출해요.
도구로 만들면 주소 3개짜리가 lastmod 없이 249바이트, lastmod 있으면 336바이트로 나와요. 앞에서 손으로 센 값과 같으면 정상이에요.
제출한 뒤 확인 순서
제출 직후 "가져올 수 없음"이 뜨면 대개 아래 순서에서 걸려요.
- 브라우저로
https://내도메인/sitemap.xml을 직접 열어 XML이 보이는지 확인해요. 404면 올린 위치가 틀린 거예요. - 파일 안
&가&로 바뀌어 있는지, 태그가 모두 닫혔는지 확인해요. - 사이트맵 안 주소의 도메인(www 유무, http/https)이 파일이 놓인 도메인과 같은지 확인해요. 다른 도메인 주소는 인정되지 않아요.
- robots.txt 가 사이트맵 파일 자체를 막고 있지 않은지 확인해요.
- 콘솔에서 "발견된 URL 수"가 파일의 주소 수와 비슷한지 봐요. 크게 다르면 파싱이 중간에 멈춘 거예요.
주소 수가 맞는데 색인이 안 된다면 사이트맵 문제가 아니라 페이지 품질·중복 문제인 경우가 많아요. 제목·설명이 같은 페이지가 많은지는 메타 태그 생성기로 한 페이지씩 정리해 보세요.
자주 묻는 질문
사이트맵이 없으면 색인이 안 되나요?
아니요. 사이트 안 링크를 따라 크롤러가 찾아낼 수 있어요. 다만 새 사이트이거나 페이지가 많고 서로 링크가 적다면 사이트맵이 발견을 도와줘요.
사이트맵에 모든 페이지를 넣어야 하나요?
색인되길 원하는 페이지만 넣어요. 검색 결과 페이지, 로그인 화면, 태그 조합 같은 얇은 페이지는 빼는 편이 파일도 깔끔하고 콘솔 경고도 줄어요.
주소가 한글이면 어떻게 적나요?
퍼센트 인코딩한 주소로 적는 쪽이 안전해요. 글자가 깨졌는지 확인할 땐 URL 인코더로 되돌려 보세요. 슬러그를 영문으로 만들려면 URL 슬러그 생성기가 있어요.
사이트맵을 압축해도 되나요?
.xml.gz로 압축해 올릴 수 있어요. 한도 50MB 는 압축 전 크기 기준이에요.
제출만 하면 바로 색인되나요?
아니요. 제출은 발견을 돕는 일이고, 색인 여부와 시기는 검색엔진이 정해요. 며칠에서 몇 주가 걸릴 수 있어요.
정리
사이트맵은 알리는 일, robots.txt 는 크롤링 조절, noindex 는 색인 제외예요. 색인되길 원하는 최종 주소만 사이트맵에 넣고 그 주소에는 robots·noindex 를 걸지 않으면 대부분의 경고가 사라져요. 주소 목록이 있다면 사이트맵 만들기로 바로 XML 을 만들고, 막을 경로는 robots.txt 생성기에서 점검하세요. 이 글의 개수·한도는 구글 검색 센터 사이트맵 문서를 기준으로 하니, 제출 전 공식 문서도 한 번 확인하세요.