Meta-Robots-Tag Generator

So baust du ein Robots-Meta-Tag, das tut, was du gemeint hast

Wähl die Einschränkungen, ergänz Ausnahmen pro Crawler und lies die wirksame Regel ab. Drei der Prüfungen gibt es, weil die Tools, die für diese Suchanfrage ranken, die Semantik falsch darstellen — nicht die Syntax.

1. Entscheide, was eingeschränkt werden soll. Nur Einschränkungen zählen. In Googles Liste gibt es keine Regel „index“, und „all“ hat keine Wirkung, wenn man es ausdrücklich angibt — eine Seite, die in den Index soll, braucht gar kein Tag.
2. Sag, ob die robots.txt die URL sperrt. Wenn ja und du noindex willst, stoppt der Generator. Eine gesperrte Seite wird nie abgerufen, das noindex also nie gelesen — der häufigste Grund, warum eine Seite den Index nicht verlässt.
3. Schreib Zeilen pro Crawler nur als Einschränkung. Regeln addieren sich als Summe der negativen Regeln. Ein Bot-spezifisches Tag kann für diesen Crawler strenger werden; lockern kann es nichts.
4. Nimm die Header-Variante für alles, was kein HTML ist. PDFs, Bilder, CSVs und generierte Downloads haben keinen head für ein Tag. X-Robots-Tag trägt dieselben Regeln als Response-Header, mit Snippets für Apache und nginx.
5. KI-Crawler gehören in die robots.txt, nicht hierher. Jeder veröffentlichte Opt-out von Google, OpenAI, Anthropic, Perplexity, Apple, Meta und Common Crawl ist ein robots.txt-User-Agent-Token. Die dritte Ausgabe ist genau dieser Block.

noindex und Disallow heben sich gegenseitig auf

Ein Meta-Robots-Tag-Generator baut das <meta name="robots">-Tag, das Suchmaschinen sagt, ob eine Seite in den Index darf, ob ihren Links gefolgt wird und wie viel von ihr gezeigt werden darf. Der teuerste Fehler, bei dem er helfen kann, ist kein Tippfehler. Es ist die Kombination dieses Tags mit einer Disallow-Zeile.

Googles eigene Formulierung: damit die noindex-Regel wirksam ist, darf die Seite nicht durch eine robots.txt-Datei blockiert werden und muss für den Crawler zugänglich sein. Ist sie blockiert, sieht der Crawler die Regel nie — und die URL kann über Links weiterhin in den Suchergebnissen erscheinen, ohne Snippet und ohne den Titel, den du gewählt hast.

Das ist die Schleife, in der Leute stecken bleiben. Eine Seite verlässt den Index nicht, also sperrt man sie zusätzlich in der robots.txt — und garantiert damit, dass sie ihn nie verlässt. Auch die naheliegende Abkürzung ist zu: noindex in der robots.txt unterstützt Google nicht. Die Reihenfolge ist immer dieselbe:

1. Die Disallow-Zeile entfernen, damit die Seite gecrawlt werden darf.
2. noindex ausliefern — als Meta-Tag im HTML, als X-Robots-Tag bei allem anderen.
3. Auf ein erneutes Crawlen warten. Erst wenn die Seite draußen ist, ergibt es Sinn, das Crawlen zu sperren — meist braucht man es dann nicht mehr.

Ein bekanntes Beispiel dafür, wie ernst das ist: WordPress schrieb für die Einstellung „Suchmaschinen davon abhalten, diese Website zu indexieren“ früher Disallow: / in die robots.txt. Mit Version 5.3 wurde das auf ein noindex-Meta-Tag umgestellt — ausdrücklich, weil der robots.txt-Weg Seiten nicht zuverlässig aus den Ergebnissen hielt.

Regeln pro Crawler addieren sich — sie überschreiben nicht

Du kannst einen Crawler namentlich ansprechen: <meta name="googlebot">, <meta name="googlebot-news">, <meta name="bingbot">. Was die meisten Erklärungen umdrehen, ist die Kombination mit dem generischen Tag.

Googles Dokumentation: Werden mehrere Crawler mit unterschiedlichen Regeln angegeben, verwendet die Suchmaschine die Summe der negativen Regeln. Das dort genannte Beispiel ist ein generisches nofollow plus ein noindex für Googlebot — und das Ergebnis für Googlebot ist noindex, nofollow: beides, nicht das speziellere. Für Header steht dasselbe Prinzip: Bei widersprüchlichen Regeln gilt die strengere.

Dieses Paar tut also nicht, wonach es aussieht:

<meta name="robots" content="noindex">
      <meta name="googlebot" content="index">      <!-- holt die Seite nicht zurück in den Index -->

Es gibt keine positive Regel, die eine negative rückgängig macht. Wenn nur Google indexieren soll, schränkst du die anderen ein; du erlaubst nicht Google. Der Generator berechnet die wirksame Regel für jeden Crawler, den du nennst, und warnt, sobald eine Zeile lockern statt verschärfen will.

Eine Folge davon, billig zu sagen und leicht zu übersehen: nosnippet und max-snippet:50 auf derselben Seite ergeben gar kein Snippet, weil die strengere Regel gewinnt.

Der deutsche Sonderfall: § 44b UrhG steht in der robots.txt, nicht im Meta-Tag

Deutschland ist einer der Märkte, in denen Text und Data Mining ausdrücklich im Urheberrecht geregelt ist. § 44b UrhG erlaubt Vervielfältigungen für Text- und Data-Mining und lässt Rechteinhabern einen Nutzungsvorbehalt — mit einer Bedingung, die technisch ist: bei online zugänglichen Werken ist der Vorbehalt nur dann wirksam, wenn er in maschinenlesbarer Form erfolgt.

Für eine Website heißt das in der Praxis: der Vorbehalt lebt in der robots.txt und in den Nutzungsbedingungen — nicht in einem Robots-Meta-Tag. Zwei Punkte, die dabei regelmäßig vermischt werden:

• noindex ist kein TDM-Vorbehalt. Es nimmt die Seite aus dem Suchindex und sagt über Training nichts aus. Umgekehrt nimmt ein TDM-Vorbehalt die Seite nicht aus Google.
• Google-Extended hat gar keinen User-Agent-String. Laut Googles Crawler-Dokumentation wird mit den vorhandenen Google-User-Agents gecrawlt und das Token nur steuernd in der robots.txt verwendet. Es gibt nichts, was ein Meta-Tag ansprechen könnte, und es beeinflusst weder die Google-Suche noch das Ranking.

Deshalb ist die dritte Ausgabe dieses Generators ein robots.txt-Block und kein Tag. Wenn du einen Vorbehalt erklären willst, gehört er dorthin — wenn du zitiert werden willst, gehört er nirgendwohin.

Direktiven, die nichts mehr bewirken — und das „index, follow“ aus jedem Template

Google veröffentlicht eine Liste von Regeln, die es nicht verwendet, und Generatoren bieten sie weiter an, ohne das dazuzuschreiben. Geprüft am 2026-09-15 gegen Googles Spezifikation der Robots-Meta-Tags:

Die letzte Zeile trifft deutschsprachige Seiten überdurchschnittlich oft, weil <meta name="robots" content="index, follow"> in vielen CMS-Vorlagen und SEO-Checklisten als Standard mitgeliefert wird. Das Tag ist nicht schädlich — es ist wirkungslos, und es verdeckt die Frage, die zählt: Soll hier überhaupt etwas eingeschränkt werden? Der Generator markiert es als das, was es ist.

Daraus folgt eine brauchbare Faustregel. Liefer ein Robots-Tag nur aus, wenn du etwas einschränkst. Gibt es nichts einzuschränken, ist kein Tag das beste Tag.

KI-Crawler: der Schalter sitzt in der robots.txt, nicht in einem Meta-Tag

Reichlich Ratgeber empfehlen <meta name="noai"> oder Google-Extended in einem Meta-Tag. Wir haben die Dokumentation der Anbieter selbst gelesen. Beides funktioniert nicht, und so sieht es wirklich aus.

• OpenAI, Anthropic und Perplexity dokumentieren alle robots.txt-Tokens — GPTBot, OAI-SearchBot, ChatGPT-User; ClaudeBot, Claude-SearchBot, Claude-User; PerplexityBot, Perplexity-User. Keiner der drei dokumentiert ein Meta-Tag.
• noai und noimageai stehen in keinem dieser Dokumente. Sie sind ein Vorschlag aus der Verlagswelt, nichts, wovon eine große Suchmaschine sagt, dass sie es beachtet.
• Nutzerausgelöste Abrufe sind eine eigene Kategorie. Perplexity dokumentiert, dass Perplexity-User die robots.txt in der Regel ignoriert, weil ein Mensch den Abruf angefordert hat; Meta sagt dasselbe über Meta-ExternalFetcher. Für die ist eine robots.txt-Zeile keine Mauer.

Zwei Dinge auf der Meta-Seite erreichen KI-Antworten tatsächlich, und beide sind gewöhnliche Google-Direktiven: nosnippet und max-snippet gelten laut Google ausdrücklich auch für AI Overviews und den AI-Modus und begrenzen, wie viel der Seite als direkter Input dienen darf. Das ist die ehrliche Liste.

Die dritte Ausgabe schreibt den robots.txt-Block für die Richtlinie, die du wählst, nach Anbieter gruppiert. Die Antwort-Crawler zu blockieren ist eine echte Entscheidung mit echten Kosten — sie nimmt dich aus den Ergebnissen, die diese Maschinen zitieren. Wenn stattdessen das Zitiertwerden das Ziel ist, liegt das Material bei den GEO-Tools, sortiert nach dem, was sie wirklich tun.