메타 로봇 태그 생성기

의도대로 작동하는 robots 메타 태그 만들기

제한을 고르고, 필요하면 크롤러별 예외를 더하고, 실효 규칙을 읽습니다. 검사 중 세 가지는 이 검색어에서 상위에 있는 도구들이 문법이 아니라 의미를 틀리게 설명하기 때문에 존재합니다.

1. 무엇을 제한할지 정합니다. 의미가 있는 것은 제한뿐입니다. 구글의 목록에 "index"라는 규칙은 없고 "all"도 명시하면 효과가 없습니다. 색인되길 원하는 페이지에는 태그가 필요 없습니다.
2. robots.txt가 그 URL을 차단하는지 알려줍니다. 차단하고 있는데 noindex도 요청했다면 생성기가 멈춥니다. 차단된 페이지는 가져가지 않으니 noindex도 읽히지 않습니다. 페이지가 색인에서 빠지지 않는 가장 흔한 원인입니다.
3. 크롤러별 줄은 제한으로만 씁니다. 규칙은 부정 규칙의 합으로 결합됩니다. 봇 전용 태그는 그 크롤러에 대해 더 조일 수 있지만, 풀 수는 없습니다.
4. HTML이 아닌 것에는 헤더 버전을 씁니다. PDF · 이미지 · CSV · 생성된 다운로드에는 태그를 넣을 head가 없습니다. X-Robots-Tag가 같은 규칙을 응답 헤더로 나릅니다(Apache · nginx 예시 포함).
5. AI 크롤러는 여기가 아니라 robots.txt에서 다룹니다. 구글 · OpenAI · Anthropic · Perplexity · Apple · Meta · Common Crawl이 공개한 옵트아웃은 전부 robots.txt의 user-agent 토큰입니다. 세 번째 출력이 그 블록입니다.

noindex와 Disallow는 서로를 무효로 만든다

메타 로봇 태그 생성기는 이 페이지를 색인할지, 링크를 따라갈지, 검색결과에 얼마나 보여줄지를 검색엔진에 알려주는 <meta name="robots"> 태그를 만들어 주는 도구입니다. 이 도구가 도와줄 수 있는 가장 비싼 실수는 오타가 아닙니다. 그 태그를 Disallow 줄과 함께 쓰는 것입니다.

구글의 표현 — noindex 규칙이 효력을 가지려면 페이지가 robots.txt로 차단되어 있지 않아야 하고 크롤러가 접근할 수 있어야 합니다. 차단되어 있으면 크롤러는 noindex를 영영 보지 못하고, 그 URL은 다른 곳에서 걸린 링크를 통해 검색결과에 계속 나타날 수 있습니다. 당신이 고른 제목도 스니펫도 없이.

여기서 많은 사람이 같은 고리에 빠집니다. 페이지가 색인에서 안 빠지니까 robots.txt로도 막는다 — 그 순간 영원히 빠지지 않게 됩니다. 지름길도 막혀 있습니다. robots.txt에 noindex를 쓰는 방법은 구글이 지원하지 않습니다. 순서는 언제나 같습니다.

1. Disallow 줄을 빼서 크롤링이 되게 합니다.
2. noindex를 내보냅니다 — HTML에는 메타 태그, 그 외에는 X-Robots-Tag.
3. 재크롤링을 기다립니다. 색인에서 빠진 뒤에야 크롤링 차단이 의미를 갖고, 보통은 그때쯤 더 이상 필요하지 않습니다.

폼의 체크박스는 이 생성기가 "거절"할 수 있도록 있는 것입니다. 이 검색어에서 1위와 6위인 도구는 페이지 어디에도 Disallow라는 단어를 쓰지 않습니다.

한국 시장의 전제: 네이버는 Yeti로 따로 돌아간다

한국어 사이트에서 이 태그를 다룰 때 가장 먼저 갈라놓아야 할 두 가지가 있습니다. "구글에 안 나온다"와 "네이버에 안 나온다"는 서로 다른 문제이고, 후자는 대개 robots 문제가 아닙니다.

네이버의 웹 크롤러는 Yeti입니다. Yeti는 표준 robots.txt 규약을 따르므로, robots.txt가 Yeti를 막고 있으면 수집되지 않습니다 — 여기까지는 구글과 같습니다. 다른 지점은 그 앞 단계입니다. 네이버 서치어드바이저는 사이트 등록과 소유 확인을 거쳐야 수집 대상이 되고, 사이트맵 제출 · 수집/색인 리포트 · HTML 진단을 그 안에서 제공합니다.

그래서 한국어 사이트에서 실제로 자주 일어나는 순서는 이렇습니다.

• 구글에는 나오는데 네이버에는 없다 → robots 태그를 고칠 일이 아닙니다. 서치어드바이저에 사이트가 등록·확인되어 있는지, robots.txt가 Yeti를 허용하는지가 먼저입니다.
• 네이버에서 빼고 싶다 → noindex가 붙은 페이지는 네이버의 검색 반영에서도 제외됩니다. 다만 위와 같은 함정이 그대로 적용됩니다. robots.txt로 먼저 막아버리면 Yeti도 그 noindex를 읽지 못합니다.
• 다음(Daum)은 또 다른 수집기(Daumoa)를 씁니다. 크롤러별 줄을 쓸 생각이라면 이름을 정확히 적어야 하는 이유입니다.

이 생성기가 만드는 일반 <meta name="robots"> 태그는 Yeti를 포함한 표준을 따르는 모든 수집기에 적용됩니다. 위 항목에서 크롤러 이름을 직접 적으면, 그 이름에만 더해지는 규칙으로 계산해 보여줍니다.

크롤러별 규칙은 더해질 뿐, 덮어쓰지 않는다

크롤러는 이름으로 지목할 수 있습니다: <meta name="googlebot">, <meta name="googlebot-news">, <meta name="bingbot">. 대부분의 설명이 거꾸로 적고 있는 것은 일반 태그와 결합되는 방식입니다.

구글 문서 — 여러 크롤러에 서로 다른 규칙을 지정한 경우, 검색엔진은 부정적인 규칙의 합을 사용합니다. 문서의 예시는 일반 nofollow와 Googlebot용 noindex이고, Googlebot에 대한 결과는 noindex, nofollow입니다. 더 구체적인 쪽이 이기는 것이 아니라 둘 다 적용됩니다. 헤더에 대해서도 같은 원칙이 적혀 있습니다 — 규칙이 충돌하면 더 제한적인 쪽이 적용된다.

그래서 이 조합은 보이는 대로 작동하지 않습니다.

<meta name="robots" content="noindex">
      <meta name="googlebot" content="index">      <!-- 색인으로 되돌려 놓지 않습니다 -->

부정을 취소하는 긍정 규칙은 없습니다. "구글에만 색인되게" 하려면 다른 쪽을 제한하는 것이지 구글을 허용하는 것이 아닙니다. 이 생성기는 당신이 지목한 크롤러마다 실효 규칙을 계산하고, 조이는 대신 푸는 줄이 있으면 경고합니다.

덧붙여 하나 더. nosnippet과 max-snippet:50을 같은 페이지에 쓰면 더 강한 쪽이 이겨 스니펫이 아예 나오지 않습니다.

이제 아무 일도 하지 않는 지시어들

구글은 사용하지 않는 규칙 목록을 공개하는데, 생성기들은 그 사실을 적지 않은 채 계속 제공합니다. 2026-09-15에 robots 메타 태그 사양과 대조해 확인한 내용입니다.

이 검색어에서 1위인 도구는 noarchive와 nositelinkssearchbox를 아무 단서 없이 작동하는 지시어로 제공합니다. 이 생성기는 요청하면 noarchive를 그대로 내보냅니다 — 아직 읽는 다른 엔진이 있을 수 있으니까요 — 대신 구글은 반응하지 않는다고 분명히 적습니다. 그리고 index, follow 태그는 있는 그대로 표시합니다. 이미 색인 가능한 페이지에 얹힌, 아무것도 바꾸지 않는 태그라고.

여기서 쓸 만한 원칙이 나옵니다. 무언가를 제한할 때만 robots 태그를 내보내세요. 제한할 것이 없다면 가장 좋은 태그는 태그가 없는 것입니다.

AI 크롤러: 스위치는 robots.txt에 있고 메타 태그에는 없다

<meta name="noai">를 쓰라거나 메타 태그에 Google-Extended를 넣으라는 조언이 돌아다닙니다. 각 회사의 문서를 직접 읽었습니다. 둘 다 작동하지 않고, 실제 모양은 이렇습니다.

• Google-Extended에는 user-agent 문자열 자체가 없습니다. 구글 크롤러 문서는 크롤링이 기존 구글 user-agent로 이루어지며 이 토큰은 robots.txt에서 제어 용도로만 쓰인다고 적고 있습니다. 메타 태그가 부를 상대가 없습니다. Gemini의 학습과 그라운딩을 관장하며 구글 검색이나 순위에는 영향을 주지 않습니다.
• OpenAI · Anthropic · Perplexity는 모두 robots.txt 토큰을 문서화합니다 — GPTBot, OAI-SearchBot, ChatGPT-User; ClaudeBot, Claude-SearchBot, Claude-User; PerplexityBot, Perplexity-User. 메타 태그를 문서화한 곳은 하나도 없습니다.
• noai와 noimageai는 그 어느 문서에도 없습니다. 퍼블리셔 측의 제안이지, 큰 엔진이 지키겠다고 밝힌 것이 아닙니다.
• 사용자가 촉발한 가져오기는 별개 범주입니다. Perplexity는 Perplexity-User가 사람이 요청한 가져오기이므로 대체로 robots.txt를 따르지 않는다고 적고 있고, Meta도 Meta-ExternalFetcher에 대해 같은 말을 합니다. 이들에게 robots.txt 한 줄은 벽이 아닙니다.

메타 쪽에서 AI 답변에 실제로 닿는 것은 둘뿐이고 둘 다 평범한 구글 지시어입니다. nosnippet과 max-snippet은 AI 개요와 AI 모드에도 적용된다고 구글이 명시했고, 페이지의 어디까지가 직접 입력이 될 수 있는지를 제한합니다. 정직한 목록은 이게 전부입니다.

세 번째 출력은 고른 정책에 맞는 robots.txt 블록을 공급사별로 묶어 써줍니다. 답변 쪽 크롤러를 막는 것은 실제 비용이 따르는 진짜 선택입니다 — 그 엔진들이 인용하는 결과에서 당신이 사라집니다. 반대로 인용되는 것이 목표라면 재료는 하는 일로 분류한 GEO 도구에 있습니다.