meta robots タグ生成ツール

意図どおりに効く robots メタタグの作り方

制限を選び、必要ならクローラー別の例外を足し、実効ルールを読みます。チェックのうち 3 つは、この語で上位に出ているツールが構文ではなく「意味」を取り違えているために存在します。

1. 何を制限するかを決める。 意味を持つのは制限だけです。Google の一覧に「index」というルールは無く、「all」も明示すると効果がありません。インデックスさせたいページに、タグは要りません。
2. robots.txt でその URL を拒否しているかを申告する。 拒否していて noindex も指定した場合、このツールは止まります。拒否されたページは取得されず noindex も読まれません。ページがインデックスから消えない最大の原因がこれです。
3. クローラー別の行は「制限」としてだけ書く。 ルールは否定ルールの和として合成されます。ボット別タグはそのクローラーに対して厳しくできますが、緩めることはできません。
4. HTML でないものにはヘッダー版を使う。 PDF・画像・CSV・生成ファイルにはタグを置く head がありません。X-Robots-Tag は同じルールをレスポンスヘッダーで運びます(Apache と nginx の設定例つき)。
5. AI クローラーは robots.txt で扱う。 Google・OpenAI・Anthropic・Perplexity・Apple・Meta・Common Crawl が公開しているオプトアウトは、すべて robots.txt の user-agent トークンです。3 つめの出力がそのブロックです。

noindex と Disallow は互いを打ち消し合う

meta robots タグ生成ツールとは、そのページをインデックスさせるか、リンクをたどらせるか、検索結果にどこまで見せるかを検索エンジンに伝える <meta name="robots"> タグを組み立てるツールです。このツールが手伝ってしまう最も高くつくミスは、タイプミスではありません。そのタグを Disallow と併用することです。

Google 自身の記述——noindex ルールを有効にするには、ページが robots.txt でブロックされておらず、クローラーがアクセスできる状態でなければならない。ブロックされていればクローラーは noindex を見ることが無く、そのページは外部からのリンク経由で検索結果に表示され続けることがあります。あなたが選んだタイトルもスニペットも無い形で。

ここで多くの人が同じループに入ります。ページが消えないので robots.txt でも塞ぐ。その瞬間、二度と消えなくなります。近道も塞がっています——robots.txt に noindex を書く方法を Google はサポートしていません。手順はいつも同じ順番です。

1. Disallow の行を外して、クロールできるようにする。
2. noindex を返す——HTML にはメタタグ、それ以外には X-Robots-Tag。
3. 再クロールを待つ。インデックスから消えて初めて、クロールを塞ぐ意味が出てきます(たいていはもう不要になっています)。

フォームのチェックボックスは、このツールが「拒否する」ために置いてあります。この語で 1 位と 6 位にいるツールは、ページのどこにも Disallow という語を書いていません。

日本市場の前提:Yahoo!検索は Google の検索技術で動いている

日本語圏でこのタグを扱うときに、最初に知っておくと計算が楽になる事実があります。Yahoo!検索は Google の検索システムを利用しています。2010 年 7 月に採用が発表され、同年 12 月に切り替えが完了し、2024 年には提携の延長も報じられました。

実務上の意味は 3 つです。

• Google 向けのディレクティブが、そのまま Yahoo!検索にも効きます。「Yahoo! 用に別のタグを書く」必要はありません。2026 年 2 月時点の国内シェアは Google 66.41%、Yahoo! 7.5% と報じられており、合わせて 7 割超が同じ index を見ていることになります。
• 逆に、Google で消し損ねたページは Yahoo! でも消えません。片方だけ直す、という選択肢が存在しないということです。
• Bing は別系統です。bingbot はクローラー別の指定に書く価値があり、Copilot 経由の AI 回答面もこちら側にあります。

つまり日本語のサイトでは、robots メタタグの設計は実質 Google 一本への設計になります。クローラー別の行を書くとしても、対象は googlebot-news や bingbot であって「yahoo」ではありません——<meta name="yahoo"> のようなタグは、どのドキュメントにも存在しません。

クローラー別のルールは「足し算」であって上書きではない

クローラーは名指しできます:<meta name="googlebot">、<meta name="googlebot-news">、<meta name="bingbot">。ほとんどの解説が逆に書いているのは、汎用タグとの合成のしかたです。

Google のドキュメント——複数のクローラーに異なるルールを指定した場合、検索エンジンは否定的なルールの和を使用します。挙げられている例は、汎用の nofollow と Googlebot 向けの noindex で、Googlebot に対する結果は noindex, nofollow です。より具体的なほうが勝つのではなく、両方が効きます。ヘッダーについても同じ原則が書かれています——ルールが競合する場合は、より制限の強いほうが適用される。

つまりこの組み合わせは、見た目どおりには働きません。

<meta name="robots" content="noindex">
      <meta name="googlebot" content="index">      <!-- インデックスには戻りません -->

否定を打ち消す肯定ルールは存在しません。「Google にだけインデックスさせたい」なら、他を制限するのであって Google を許可するのではありません。このツールは、あなたが名指ししたクローラーごとに実効ルールを計算し、緩めようとしている行があれば警告します。

ついでにもう 1 つ。nosnippet と max-snippet:50 を同じページに書くと、厳しいほうが勝ってスニペットは出ません。

もう何もしないディレクティブ

Google は「使用していないルール」の一覧を公開していますが、ジェネレーター側はそれを注記せずに提供し続けています。2026-09-15 に robots メタタグの仕様で確認した内容です。

この語で 1 位のツールは noarchive と nositelinkssearchbox を、注記なしで「効くディレクティブ」として提供しています。このツールは依頼されれば noarchive を出力します——読む別エンジンがあるかもしれないからです——が、Google は反応しないと明示します。そして「index, follow」のタグは、そのままの意味で印を付けます:何も変えないタグが、もともとインデックス可能なページに載っている、と。

ここから使える経験則が出ます。何かを制限するときだけ robots タグを出す。制限するものが無いなら、最良のタグは「タグを出さないこと」です。

AI クローラー:スイッチは robots.txt 側にあり、メタタグには無い

<meta name="noai"> を書け、メタタグに Google-Extended を入れろ、といった助言が出回っています。各社のドキュメントを直接読みました。どちらも働きません。実際の形はこうです。

• Google-Extended には user-agent 文字列がそもそも存在しません。Google のクローラー ドキュメントには、クロールは既存の Google の user-agent で行われ、このトークンは robots.txt で制御用に使われる、と書かれています。メタタグが指す相手がいません。対象は Gemini の学習とグラウンディングで、Google 検索やランキングには影響しません。
• OpenAI・Anthropic・Perplexity はいずれも robots.txt のトークンを文書化しています——GPTBot、OAI-SearchBot、ChatGPT-User;ClaudeBot、Claude-SearchBot、Claude-User;PerplexityBot、Perplexity-User。メタタグを文書化している会社は 1 つもありません。
• noai と noimageai はそのどの文書にも出てきません。出版側の提案であって、大手エンジンが「尊重する」と表明しているものではありません。
• ユーザー起点の取得は別カテゴリーです。Perplexity は Perplexity-User が原則 robots.txt に従わないと明記しています(人が取得を要求したため)。Meta も Meta-ExternalFetcher について同じことを言っています。これらに対して robots.txt は壁になりません。

メタ側で本当に AI の回答に届くものは 2 つだけで、どちらも普通の Google のディレクティブです。nosnippet と max-snippet は AI Overviews と AI モードにも適用されると Google が明示しており、ページのどこまでが直接の入力になり得るかを制限します。正直な一覧はこれだけです。

3 つめの出力は、選んだ方針に応じた robots.txt ブロックをベンダー別に書き出します。回答側のクローラーを塞ぐのは、実際のコストを伴う本物の選択です——それらのエンジンが引用する結果から、あなたが消えます。逆に引用されることが目的なら、材料は LLMO(日本語圏での GEO)と llms.txt の解説にあります。