DOCUMENTED
Direkt durch die Dokumentation des Anbieters selbst gedeckt.
FORSCHUNG · REFERENZ V1.1 · QUELLEN GELESEN 2026-09-27
DIE CRAWLER
DER KI-SUCHE.
Welche Crawler und Abrufagenten die Anbieter der KI-Suche dokumentieren, wozu jeder nach Aussage des Anbieters dient, und wie sich prüfen lässt, ob eine Anfrage, die sich als einer von ihnen ausgibt, echt ist. Jede Zeile verlinkt das Dokument des Anbieters, trägt eine von fünf Klassen und zeigt das Datum, an dem dieses Dokument zuletzt gelesen wurde.
Diese Seite beschreibt Steuerungen. Sie empfiehlt nicht, etwas zu erlauben oder zu sperren — was Sie mit diesen Steuerungen tun, hängt von Ihren Inhalten und Ihrem Geschäft ab —, und kein Anbieter auf dieser Seite garantiert, dass ein erlaubter Crawler zu einer Zitierung führt.
WIE DIESE SEITE ZU LESEN IST
Fünf Klassen · ein Prüfdatum in jeder Zeile · ein Termin für die nächste Prüfung
Jede Zeile dieser Seite trägt dreierlei: einen Link auf das Dokument des Anbieters, eine von fünf Klassen und das Datum, an dem dieses Dokument zuletzt gelesen wurde. Die Klassen sind dieselben fünf, mit denen wir jede eigene Aussage einstufen — einmal definiert, auf der Methodik-Seite.
OBSERVED
In unseren Tests gesehen, aber nicht als Regel der Plattform belegt.
INFERRED
Eine plausible Lesart der Belege. Kein Mechanismus.
UNVERIFIED
Zu wenig Beleg. Sagt das offen und bleibt unbenutzt.
EXPERIMENTAL
Ein bewusster Test von etwas Unbelegtem, angemeldet bevor er läuft.
Eine Zeile ist hier nur dann DOCUMENTED, wenn der Anbieter es in seiner eigenen Dokumentation sagt, verlinkt und datiert. Ein Crawler, der in Server-Logs auftaucht, aber in keinem Anbieter-Dokument, ist OBSERVED, nie DOCUMENTED. Wo wir aus dokumentierten Fakten einen Schluss ziehen, ist der Schluss als INFERRED markiert, getrennt von den Fakten. Nichts wird hochgestuft, weil es bequem wäre.
- Geprüft
- das Datum, an dem wir die Quelle der Zeile zuletzt gelesen haben. Jede Zeile trägt ihr eigenes; heute lautet es überall .
- Nächste Prüfung
- — jede Quelle neu gelesen, jede umgezogene oder geänderte Quelle markiert und neu datiert.
- Zitate
- immer im Wortlaut und in der Sprache des Anbieters — überall Englisch außer bei ByteDance, das auf Chinesisch dokumentiert —, als Zitat markiert, in beiden Sprachversionen. Einen Anbieter-Wortlaut zu übersetzen, würde aus DOCUMENTED ein INFERRED machen; wo eine Übersetzung hilft, steht sie als unsere Notiz daneben.
PRÜFEN, OB EINE ANFRAGE ECHT IST
Veröffentlichte Endpunkte · Reverse DNS · die Schicht vor dem Origin
Ein User-Agent-String ist eine Behauptung, keine Identität. Jeder kann ihn senden. Was ein Anbieter veröffentlicht, um die Frage zu klären, ist eine IP-Liste, ein Reverse-DNS-Muster oder ein Werkzeug — und jeder Endpunkt unten hat am Datum seiner Zeile geantwortet.
| Anbieter | Methode | Veröffentlichte Endpunkte | Abgerufen | Klasse | Geprüft | Quelle |
|---|---|---|---|---|---|---|
| OpenAI | Veröffentlichte IP-Bereiche, eine Liste je Agent. | HTTP 200 am | DOCUMENTED | OpenAI · crawler documentation | ||
| Anthropic | If a crawler has a source IP address on this list, it indicates that the crawler is coming from Anthropic. Eine veröffentlichte IP-Liste für alle Anthropic-Agenten. | HTTP 200 am | DOCUMENTED | Anthropic · does Anthropic crawl data from the web | ||
| Perplexity | Veröffentlichte IP-Bereiche, eine Liste je Agent. | HTTP 200 am | DOCUMENTED | Perplexity · crawlers | ||
The common crawlers generally crawl from the IP ranges published in the common-crawlers.json object, and the reverse DNS mask of their hostname matches crawl-***-***-***-***.googlebot.com or geo-crawl-***-***-***-***.geo.googlebot.com. Veröffentlichte IP-Bereiche je Crawler-Gruppe, dazu eine Reverse-DNS-Maske für die allgemeinen Crawler. | HTTP 200 am | DOCUMENTED | Google · common crawlers | |||
| Apple | Traffic coming from Applebot is generally identified by using reverse DNS in the *.applebot.apple.com domain. Another way is to match the IP address with a CIDR prefix contained in the following JSON file Reverse DNS in *.applebot.apple.com, oder eine veröffentlichte IP-Liste. | HTTP 200 am | DOCUMENTED | Apple · about Applebot | ||
| Mistral | Veröffentlichte IP-Listen, eine je Agent — für MistralAI-Index und MistralAI-User. |
| HTTP 200 am | DOCUMENTED | Mistral · robots | |
| Amazon | Veröffentlichte IP-Adressen, eine Seite je Agent. Die Seitennamen folgen nicht den Agentennamen — die Liste von Amzn-User heißt live-ip-addresses. |
| HTTP 200 am | DOCUMENTED | Amazon · Amazonbot | |
| Common Crawl | CCBot is now run on dedicated IP address ranges with reverse DNS (except over IPv6 where reverse DNS is not yet supported.) This allows webmasters to verify whether a logged request stems from the real CCBot Reverse DNS in *.crawl.commoncrawl.org (nicht über IPv6), dazu eine veröffentlichte IP-Liste. | HTTP 200 am | DOCUMENTED | Common Crawl · CCBot | ||
| ByteDance | Bytespider的hostname以*.bytedance.com的格式命名，非 *.bytedance.com即为冒充 Reverse DNS in *.bytedance.com — alles andere ist laut Dokument gefälscht —, dazu zehn IP-Bereiche im Dokument selbst. |
| HTTP 200 am | DOCUMENTED | ByteDance · about Bytespider (Toutiao Search, in Chinese) | |
| Microsoft | Das Werkzeug „Verify Bingbot“ in den Bing Webmaster Tools. | | ein Werkzeug hinter einem Login — nichts abzurufen | DOCUMENTED | Bing · which crawlers does Bing use von der gerenderten Seite transkribiert — die Tabelle entsteht per JavaScript |
Zwei Dinge, die die Dokumentation hinzufügt
Alternate methods like blocking IP address(es) from which Anthropic Bots operates may not work correctly or persistently guarantee an opt-out, as doing so impedes our ability to read your robots.txt file.Anthropic · DOCUMENTED · 2026-09-27
Die IP-Liste ist zum Erkennen der Anthropic-Crawler veröffentlicht. Anthropic sagt ausdrücklich, dass das Sperren dieser Adressen kein verlässlicher Opt-out ist — die dokumentierte Steuerung ist die robots.txt.
If you’re using a Web Application Firewall (WAF) to protect your site, you may need to explicitly whitelist Perplexity’s bots to ensure they can access your content.Perplexity · DOCUMENTED · 2026-09-27
Die Prüfung muss unter Umständen vor dem Origin stattfinden. Eine robots.txt, die einen Crawler erlaubt, hilft nicht, wenn eine Firewall oder ein Bot-Schutz diesem Crawler mit einer Challenge antwortet — ein Fehler, der in der robots.txt unsichtbar ist und in der Analytik ebenso. Perplexitys Dokumentation sagt das wörtlich und listet Firewall-Einstellungen dafür.
Wo kein Endpunkt veröffentlicht ist
Meta veröffentlicht nichts, woran sich seine Crawler prüfen lassen.
Add to your allow list either the user agent strings or the IP addresses (more secure) used by the crawler.Meta · DOCUMENTED · 2026-09-27
Im Abschnitt zu FacebookExternalHit empfiehlt Metas Crawler-Seite, per IP-Adresse freizugeben, weil das sicherer sei — und veröffentlicht weder eine IP-Liste noch ein Reverse-DNS-Muster noch ein Werkzeug. Keiner der fünf Meta-Agenten lässt sich gegen eine Meta-Quelle prüfen. INFERRED · Meta · web crawlers · von der gerenderten Seite transkribiert
Mistral veröffentlicht keine IP-Liste für MistralAI-Training.
Mistral veröffentlicht Listen für MistralAI-Index und MistralAI-User; für seinen Trainings-Crawler nennt es keine. Eine Anfrage, die sich als MistralAI-Training ausgibt, lässt sich gegen keine Mistral-Quelle prüfen. INFERRED · Mistral · robots
Die CDN-Schicht: eine Entscheidung über Training, die die Suche erreicht
Die Schicht vor dem Origin kann selbst über KI-Crawler entscheiden. Cloudflare, über das diese Website ausgeliefert wird, teilt sie in Search, Agent und Training ein und dokumentiert zwei Änderungen zum 15. September 2026:
On September 15, 2026, Cloudflare will set updated defaults for new domains: bots classified as Training or as Agent will be blocked on pages that display ads, and Search will remain allowed. Mixed-purpose crawlers that combine Search and Training will also be blocked by all configurations to block AI training, including the legacy “Block AI bots” option.Cloudflare · DOCUMENTED · 2026-09-27 · Cloudflare · AI bot policies (block AI bots)
Since the defaults will be enforced by the most restrictive applicable rules, multi-purpose crawlers such as Googlebot, Applebot, and BingBot will be blocked by customers who have selected to block Training (either through the new options to manage AI traffic, or through the legacy Block AI bots service).Cloudflare · Blogbeitrag vom 1. Juli 2026 · DOCUMENTED · 2026-09-27 · Cloudflare Blog · new AI traffic options
Unsere Lesart: Auf einer Cloudflare-Zone erreicht eine Einstellung zum Training die Crawler hinter der Suche von Google, Apple und Bing — und weder die robots.txt noch die Anbieter-Tabellen dieser Seite würden es zeigen. INFERRED
Die Dokumentation entstand vor dem Stichtag und sagt, was Cloudflare tun „wird“. Ob die Umstellung so gelaufen ist, lässt sich aus Dokumentation nicht ablesen — das wäre OBSERVED und bräuchte den Verkehr einer Zone. Andere CDNs und Bot-Schutz-Dienste haben eigene Schalter; diese Seite dokumentiert den, auf dem diese Website läuft. Was wir dort fahren, steht weiter unten neben unserer robots.txt.
DIE DREI AUFGABEN EINES CRAWLERS
Suche · Nutzerabruf · Training
Die Tabellen dieser Seite sind danach sortiert, was ein Agent tut — denn daran hängen die Steuerungen. Derselbe Anbieter betreibt oft einen von jeder Sorte. Diese Dreiteilung ist unsere Rahmung — INFERRED aus den dokumentierten Zwecken, keine Taxonomie, die ein Anbieter veröffentlicht —, und die Zeilen darunter sagen je Anbieter, wo die Dokumentation die drei tatsächlich trennt und wo nicht.
| Aufgabe | Was er tut | Was Sperren kostet |
|---|---|---|
| Suche | Baut einen Index, damit der Anbieter Ihre Seiten in seinem Suchprodukt anzeigen und verlinken kann. | Ihre Seiten kommen für die Antworten dieses Produkts nicht mehr infrage. |
| Nutzerabruf | Holt eine einzelne Seite, weil eine Person gerade eine Frage gestellt hat, die sie braucht. | Der Assistent kann Ihre Seite für jemanden, der danach gefragt hat, nicht öffnen. |
| Training | Sammelt Inhalte, die zum Training von Basismodellen verwendet werden können. | Ihre Inhalte bleiben aus künftigen Trainingsdaten draußen — bei den Anbietern, die die Trennung dokumentieren. |
SUCHBOTS
Der Agent, den man erlaubt, wenn man in den Antworten dieses Anbieters erscheinen will
| Anbieter | User Agent | Wortlaut des Anbieters | Klasse | Geprüft | Quelle |
|---|---|---|---|---|---|
| OpenAI | OAI-SearchBot | OAI-SearchBot is for search. OAI-SearchBot is used to surface websites in search results in ChatGPT’s search features. Sites that are opted out of OAI-SearchBot will not be shown in ChatGPT search answers, though can still appear as navigational links. | DOCUMENTED | OpenAI · crawler documentation | |
| Googlebot | Crawling preferences addressed to the Googlebot user agent affect Google Search (including Discover and all Google Search features), as well as other products such as Google Images, Google Video, Google News, and Discover. Cloudflare zählt Googlebot zu den Mehrfachzweck-Crawlern und sperrt ihn bei jeder Trainingssperre mit (CDN-Schicht, oben). Google dokumentiert seine Trainingssteuerung als Token, Google-Extended, nicht als eigenen Crawler. | DOCUMENTED | Google · common crawlers | ||
| Microsoft | bingbot | our standard crawler … handles most of our crawling needs each day Auch bingbot zählt Cloudflare zu den Mehrfachzweck-Crawlern (CDN-Schicht, oben). Microsoft dokumentiert seine Trainingssteuerung als Meta-Wert, NOARCHIVE, nicht als eigenen Crawler.von der gerenderten Seite transkribiert — die Tabelle entsteht per JavaScript | DOCUMENTED | Bing · which crawlers does Bing use von der gerenderten Seite transkribiert — die Tabelle entsteht per JavaScript | |
| Perplexity | PerplexityBot | PerplexityBot is designed to surface and link websites in search results on Perplexity. It is not used to crawl content for AI foundation models. | DOCUMENTED | Perplexity · crawlers | |
| Anthropic | Claude-SearchBot | Claude-SearchBot navigates the web to improve search result quality for users. It analyzes online content specifically to enhance the relevance and accuracy of search responses. Disabling Claude-SearchBot on your site prevents our system from indexing your content for search optimization, which may reduce your site’s visibility and accuracy in user search results. | DOCUMENTED | Anthropic · does Anthropic crawl data from the web |
OpenAI dokumentiert noch einen vierten Agenten, OAI-AdsBot,
der in keine der drei Klassen fällt: OAI-AdsBot only visits pages submitted as ads, and the data collected by OAI-AdsBot is not used to train generative AI foundation models.
— DOCUMENTED · 2026-09-27 ·
OpenAI · crawler documentation.
Zwei Einträge, die Abwesenheiten sind
Google dokumentiert keinen eigenen Crawler für AI Overviews oder AI Mode.
To be eligible to be shown in generative AI features on Google Search, a page must be indexed and eligible to be shown in Google Search with a snippet, fulfilling the Search technical requirements.Just because a page meets all requirements, best practices, and complies with the policies, doesn’t mean that Google will crawl, index, or serve its content. Indexing and serving aren’t guaranteed.Google · DOCUMENTED · 2026-09-27
Googles Liste der allgemeinen Crawler enthält keinen Agenten für die generativen KI-Funktionen, und der Leitfaden knüpft die Berechtigung dafür an die Berechtigung für die Suche. Unsere Lesart: Für Googles KI-Antworten gibt es nichts Zusätzliches zu erlauben — Googlebot ist die Steuerung, und die dokumentierte Zusatzbedingung liegt in der Search Console, nicht in der robots.txt (siehe die Seitensteuerungen unten). INFERRED · Google · AI features and your website
Microsoft dokumentiert keinen eigenen Copilot-Crawler.
Bings dokumentierte Crawler sind bingbot, AdIdxBot, BingPreview, MicrosoftPreview und BingVideoPreview — von der gerenderten Seite gelesen, weil die Tabelle per JavaScript entsteht. Keiner ist Copilot-spezifisch. Unsere Lesart: Die Steuerungen, die Microsoft für KI-Antworten dokumentiert, sind Meta-Werte auf Seitenebene, kein User Agent (siehe die Seitensteuerungen unten). INFERRED · Bing · which crawlers does Bing use · von der gerenderten Seite transkribiert
NUTZERABRUF-AGENTEN
Eine Seite, weil eine Person gefragt hat — und die robots.txt gilt womöglich nicht
Diese Agenten holen eine Seite, weil jemand eine Frage gestellt hat, die sie braucht. Von den Anbietern dieser Seite, die einen solchen Agenten dokumentieren, nennen fünf eine Ausnahme von der robots.txt für nutzerveranlasste Abrufe — OpenAI, Perplexity, Google, Meta und Amazon, die letzten beiden in der Tabelle der sechs weiteren Anbieter weiter unten. Zwei dokumentieren einen solchen Agenten, ohne eine Ausnahme zu nennen: Anthropic, das pauschale Einhaltung erklärt, und Mistral. Ob sich dieser Unterschied in der Praxis zeigt, kann eine Tabelle aus Dokumentation nicht beantworten — das wäre OBSERVED und bräuchte Server-Logs. Es steht hier als Asymmetrie in der Dokumentation, nicht mehr.
| Anbieter | User Agent | Wortlaut des Anbieters | robots.txt | Klasse | Geprüft | Quelle |
|---|---|---|---|---|---|---|
| OpenAI | ChatGPT-User | When users ask ChatGPT or a CustomGPT a question, it may visit a web page with a ChatGPT-User agent. […] ChatGPT-User is not used for crawling the web in an automatic fashion. | Because these actions are initiated by a user, robots.txt rules may not apply. | DOCUMENTED | OpenAI · crawler documentation | |
| Perplexity | Perplexity-User | Perplexity-User supports user actions within Perplexity. When users ask Perplexity a question, it might visit a web page to help provide an accurate answer and include a link to the page in its response. […] It is not used for web crawling or to collect content for training AI foundation models. | Since a user requested the fetch, this fetcher generally ignores robots.txt rules. | DOCUMENTED | Perplexity · crawlers | |
| Anthropic | Claude-User | Claude-User supports Claude AI users. When individuals ask questions to Claude, it may access websites using a Claude-User agent. Claude-User allows site owners to control which sites can be accessed through these user-initiated requests. | Anthropic’s Bots respect “do not crawl” signals by honoring industry standard directives in robots.txt. Eine Ausnahme für nutzerveranlasste Abrufe wird nicht genannt. | DOCUMENTED | Anthropic · does Anthropic crawl data from the web | |
| Google-Agent · Google-GeminiNotebook · Google-Read-Aloud · Google-Pinpoint · … | Google-Agent is used by agents hosted on Google infrastructure to navigate the web and perform actions upon user request. The Gemini Notebook fetcher requests individual URLs that Gemini Notebook users have provided as sources for their projects. | Because the fetch was requested by a user, these fetchers generally ignore robots.txt rules. | DOCUMENTED | Google · user-triggered fetchers |
- Keine Erlaubnis. „Gilt womöglich nicht“ beschreibt das Verhalten des Anbieters. Es macht den Abruf nicht autorisiert und berührt keine andere rechtliche oder vertragliche Steuerung, die Sie haben.
- Kein Weg in die Suche. OpenAI:
ChatGPT-User is not used to determine whether content may appear in Search. Please use OAI-SearchBot in robots.txt for managing Search opt outs and automatic crawl.
Wer ChatGPT-User erlaubt, bringt damit keine Seite in die ChatGPT-Suche.
TRAININGSBOTS
Eine Entscheidung über Datenlizenzen — getrennt von der Suche, wo der Anbieter die Trennung dokumentiert
Diese zu sperren ist eine Entscheidung über Ihre Inhalte. Bei den drei Anbietern unten trennt die Dokumentation diese Entscheidung von der Suchsichtbarkeit — zweimal im Wortlaut des Anbieters, einmal als unser Schluss —, und die Spalte sagt, was was ist.
| Anbieter | User Agent | Wortlaut des Anbieters | Kostet Sperren Suchsichtbarkeit? | Klasse | Geprüft | Quelle |
|---|---|---|---|---|---|---|
| OpenAI | GPTBot | GPTBot is used to make our generative AI foundation models more useful and safe. It is used to crawl content that may be used in training our generative AI foundation models. | a webmaster can allow OAI-SearchBot in order to appear in search results while disallowing GPTBot to indicate that crawled content should not be used for training OpenAI’s generative AI foundation models. DOCUMENTED | DOCUMENTED | OpenAI · crawler documentation | |
| Anthropic | ClaudeBot | ClaudeBot helps enhance the utility and safety of our generative AI models by collecting web content that could potentially contribute to their training. When a site restricts ClaudeBot access, it signals that the site’s future materials should be excluded from our AI model training datasets. | Ein eigener Agent neben Claude-SearchBot, jeder mit eigener dokumentierter Wirkung. Dass das Sperren des einen den anderen unberührt lässt, steht dort nicht wörtlich. INFERRED | DOCUMENTED | Anthropic · does Anthropic crawl data from the web | |
| Google-Extended robots.txt-Token — kein eigener User-Agent-String | Google-Extended is a standalone product token that web publishers can use to manage whether content Google crawls from their sites may be used for training future generations of Gemini models that power Gemini Apps and Vertex AI API for Gemini and for grounding […] in Gemini Apps and Grounding with Google Search on Vertex AI. Google-Extended doesn’t have a separate HTTP request user agent string. Crawling is done with existing Google user agent strings; the robots.txt user-agent token is used in a control capacity. | Google-Extended does not impact a site’s inclusion in Google Search nor is it used as a ranking signal in Google Search. DOCUMENTED | DOCUMENTED | Google · common crawlers |
Die am häufigsten missverstandene Steuerung dieser Seite
Google-Extended steuert weder AI Overviews noch AI Mode. Beides
ist Suche, und die Suche steuert Googlebot. Google-Extended steuert das
Training der Gemini-Modelle und das Grounding in Gemini Apps und Vertex AI,
und Google erklärt, dass es die Aufnahme einer Seite in die Suche nicht
berührt. Dass eine Seite, die Google-Extended sperrt, weiterhin in Googles
KI-Antworten erscheinen kann, folgt aus diesen beiden dokumentierten Sätzen
— INFERRED, nicht zitiert.
Getrennte Steuerungen heißen nicht immer getrennte Abrufe. OpenAI:
If your site has allowed both bots, we may use the results from just one crawl for both use cases to avoid duplicative crawling.
— DOCUMENTED · 2026-09-27.
STEUERUNGEN, DIE KEIN USER AGENT SIND
Seitenebene: ein Meta-Wert, eine Einstellung in der Search Console
Nicht jede Steuerung ist eine Zeile in der robots.txt. Diese hier wirken auf Seitenebene, ohne User Agent, und vier Anbieter dokumentieren eine. Microsofts zwei Tags trennen drei Zustände: in der KI-Antwort mit Inhalt (kein Tag), in der Antwort nur als URL, Titel und Snippet (NOCACHE), ganz aus der Antwort heraus (NOARCHIVE) — und Microsoft erklärt, dass beide Tags die Seite in den normalen Suchergebnissen lassen.
| Steuerung | Anbieter | Wortlaut des Anbieters | Klasse | Geprüft | Quelle |
|---|---|---|---|---|---|
| NOCACHE (robots meta) | Microsoft | Content with the NOCACHE tag may be included in Bing Chat answers. We will only display URL/Snippet/Title in the answer; Going forward, for content in our Bing Index that is labeled NOCACHE, only URLs, Titles and Snippets may be used in training Microsoft’s generative AI foundation models. Blogbeitrag vom September 2023; das Produkt heißt dort noch „Bing Chat“. | DOCUMENTED | Bing Webmaster Blog · NOCACHE and NOARCHIVE | |
| NOARCHIVE (robots meta) | Microsoft | Content tagged NOARCHIVE will not be included in Bing Chat answers, not be linked to in the answers. Going forward, for content in our Bing Index that is labeled NOARCHIVE, we will not use the content for training Microsoft’s generative AI foundation models. We can assure publishers that content with the NOCACHE tag or NOARCHIVE tag will still appear in our search results.Blogbeitrag vom September 2023; das Produkt heißt dort noch „Bing Chat“. | DOCUMENTED | Bing Webmaster Blog · NOCACHE and NOARCHIVE | |
| Search Console · “Search generative AI features” | In addition to the technical requirements for Search, a site must be included in Search generative AI features in Search Console to be eligible for display in generative AI features on Google Search. | DOCUMENTED | Google · AI features and your website | ||
| nosnippet (robots meta) | Apple | Apple will not use data tagged nosnippet as additional context and up-to-date content when AI models are used to generate output for display in Apple products and services. Even if you disallow Applebot-Extended and tag website content with the nosnippet meta tag, your website instructions may still allow Applebot to crawl your webpages. | DOCUMENTED | Apple · about Applebot | |
| noarchive (robots meta) | Amazon | When these user agents access web pages they respect the link-level rel=nofollow directive, and page level robots meta tags of noarchive (do not use the page for model training), noindex (do not index the page) and none (do not index the page). | DOCUMENTED | Amazon · Amazonbot |
SECHS WEITERE ANBIETER
Mistral · Meta · Apple · Amazon · Common Crawl · ByteDance
Sechs Anbieter, die ihre Agenten dokumentieren und in den Tabellen oben nicht stehen. Mistral dokumentiert ein sauberes Dreierset. Meta dokumentiert fünf Agenten — einen Such-Agenten, einen Nutzer-Abrufer, einen Mehrfachzweck-Crawler und zwei ohne Aufgabe in der KI-Suche, für Werbung und für Linkvorschauen —, von der gerenderten Seite gelesen, weil der Rohabruf verweigert wird, und in jeder Zeile so markiert. Amazon dokumentiert drei Agenten mit unabhängigen Einstellungen. Common Crawl ist weder Suchmaschine noch Assistent. ByteDance dokumentiert seinen Crawler auf Chinesisch; das Zitat bleibt in der Sprache des Anbieters, unsere Übersetzung steht daneben.
Drei Agenten sind hier als Mehrfachzweck markiert: ein Agent, mehrere dokumentierte Zwecke, Training darunter — Applebot, Meta-ExternalAgent und Amazonbot. Nur Apple gibt dem Training eine eigene Steuerung, das Token Applebot-Extended. Das Etikett ist unsere Rahmung, wie die drei Aufgaben; die Notiz jeder Zeile nennt die Zwecke, die ihr Anbieter dokumentiert.
| Anbieter | User Agent | Aufgabe | Wortlaut des Anbieters | robots.txt | Klasse | Geprüft | Quelle |
|---|---|---|---|---|---|---|---|
| Mistral | MistralAI-Index | Suche | MistralAI-Index is for automated crawling of the web for indexing purposes only. It indexes content for Mistral search, which helps answer user questions in Vibe. Content crawled by MistralAI-Index is not used for generative AI training of any kind. | — | DOCUMENTED | Mistral · robots | |
| Mistral | MistralAI-User | Nutzerabruf | MistralAI-User is for user actions in Vibe. When users ask Vibe a question, it may visit a web page to help answer and include a link to the source in its response. […] It is not used for crawling the web in any automatic fashion, nor to crawl content for generative AI training. | — | DOCUMENTED | Mistral · robots | |
| Mistral | MistralAI-Training | Training | MistralAI-Training crawls web content to help build datasets for training Mistral generative AI models. […] This crawler is not used for search indexing or to answer live user queries in Vibe. | — | DOCUMENTED | Mistral · robots | |
| Meta | Meta-WebIndexer | Suche | navigates the web to improve Meta AI search result quality cite and link to your content in Meta AI’s responsesvon der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | — | DOCUMENTED | Meta · web crawlers von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | |
| Meta | Meta-ExternalFetcher | Nutzerabruf | fetches individual links at a user’s request von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | The Meta-ExternalFetcher crawler may bypass robots.txt because it performs fetches that were requested by the user. von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | DOCUMENTED | Meta · web crawlers von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | |
| Meta | Meta-ExternalAgent | Mehrfachzweck | crawls the web for use cases such as training foundation AI models or improving products by indexing content directly Mehrfachzweck: Meta nennt für diesen einen Agenten Modelltraining und Produktverbesserung durch Indexierung und dokumentiert für keinen der beiden Zwecke ein eigenes Token.von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | — | DOCUMENTED | Meta · web crawlers von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | |
| Meta | Meta-ExternalAds | Werbung | crawls the web for use cases such as improving advertising and other business-related products and services von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | — | DOCUMENTED | Meta · web crawlers von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | |
| Meta | FacebookExternalHit | Linkvorschau | The primary purpose of FacebookExternalHit is to crawl the content of an app or website that was shared on one of Meta’s family of apps, such as Facebook, Instagram, or Messenger. von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | Note that the FacebookExternalHit crawler might bypass robots.txt when performing security or integrity checks, such as checking for malware or malicious content. von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | DOCUMENTED | Meta · web crawlers von der gerenderten Seite transkribiert — der Rohabruf wurde verweigert | |
| Apple | Applebot | Mehrfachzweck | The data crawled by Applebot is used to power various features, such as the search technology integrated into many user experiences in Apple’s ecosystem including Spotlight, Siri, and Safari. The data crawled by Applebot may also be used to help train Apple foundation models powering generative AI features across Apple products […]. Web publishers can opt-out from having their content used to train generative foundation models by disallowing Applebot-Extended in the robots.txt file.Mehrfachzweck: Apple dokumentiert beide Zwecke für diesen einen Crawler. Das Training hat eine eigene Steuerung, das Token Applebot-Extended; die Suche hat keine außer Applebot selbst. Auch Cloudflare zählt Applebot zu den Mehrfachzweck-Crawlern (CDN-Schicht, oben). | — | DOCUMENTED | Apple · about Applebot | |
| Apple | Applebot-Extended robots.txt-Token — kein eigener User-Agent-String | Training | Applebot-Extended does not crawl webpages. Webpages that disallow Applebot-Extended can still be included in search results. Applebot-Extended is only used to determine how to use the data crawled by the Applebot user agent. | — | DOCUMENTED | Apple · about Applebot | |
| Amazon | Amzn-SearchBot | Suche | Amzn-SearchBot is used to improve search experiences in Amazon products and services. By permitting Amzn-SearchBot access to your website, your content is eligible to appear in search experiences such as Alexa. If robots.txt files don’t mention Amzn-SearchBot but allow other search bots, Amzn-SearchBot will crawl in accordance with the robots.txt directives given to other search bots. Amzn-SearchBot does not crawl content for generative AI model training. | — | DOCUMENTED | Amazon · Amazonbot | |
| Amazon | Amzn-User | Nutzerabruf | Amzn-User supports user actions, such as responding to Alexa queries that require up-to-date information. […] Amzn-User does not crawl content for generative AI model training. | Because actions taken by Amzn-User can be initiated by a user, it may not follow all robots.txt directives. | DOCUMENTED | Amazon · Amazonbot | |
| Amazon | Amazonbot | Mehrfachzweck | Amazonbot is used to improve our products and services. This helps us provide more accurate information to customers and may be used to train Amazon AI models. This page describes how webmasters can control Amazonbot, Amzn-SearchBot, and Amzn-User interactions with their site. Each user agent setting is independent of the othersMehrfachzweck: ein Agent für Produktverbesserung und mögliches Training. Eine feinere Trennung innerhalb von Amazonbot dokumentiert Amazon nicht — der Trainings-Opt-out ist Amazonbot selbst; Suche und Nutzerabruf haben eigene Agenten. | — | DOCUMENTED | Amazon · Amazonbot | |
| Common Crawl | CCBot | Offenes Archiv | Common Crawl is a non-profit foundation founded with the goal of democratizing access to web information by producing and maintaining an open repository of web crawl data that is universally accessible and analyzable by anyone. Keine Suchmaschine und kein Assistent. Wer ihn sperrt, wirkt auf ein Archiv, das viele nutzen — Modellbauer darunter —, nicht auf ein Produkt, in dem man erscheinen kann. | — | DOCUMENTED | Common Crawl · CCBot | |
| ByteDance | Bytespider | Suche | 头条搜索的爬虫UA为“Bytespider” Unsere Übersetzung: „Der Crawler-UA der Toutiao-Suche ist ‚Bytespider‘.“ ByteDance dokumentiert ihn als Crawler seiner Suchmaschine Toutiao, auf Chinesisch. Zum Modelltraining sagt das Dokument nichts, weder so noch so. | — | DOCUMENTED | ByteDance · about Bytespider (Toutiao Search, in Chinese) |
WAS NICHT DOKUMENTIERT IST
Ein Name, der kursiert — und keine Anbieterquelle dafür
Ein Crawler-Name taucht ständig auf und steht in keinem Dokument seines Anbieters. Er ist hier UNVERIFIED und bleibt es, bis der Anbieter ihn dokumentiert. Drittverzeichnisse wurden gefunden und als Quelle abgelehnt — es gibt mehrere, und keines ist eine Anbieterquelle.
Version 1.0 führte hier einen zweiten Namen: Bytespider von ByteDance. ByteDance dokumentiert ihn sehr wohl, auf Chinesisch — er hat jetzt eine Zeile in der Tabelle der sechs weiteren Anbieter, und die Korrektur steht unter Prüfrhythmus.
| Anbieter | Befund | Klasse | Geprüft | Quelle |
|---|---|---|---|---|
| DeepSeek | Keine Crawler-Dokumentation des Anbieters gefunden. deepseek.com/robots.txt nennt keinen eigenen Agenten. Drittverzeichnisse führen einen „DeepSeekBot“; keines ist eine Anbieterquelle. Bleibt ungeprüft, bis DeepSeek es dokumentiert. User-Agent: * Allow: / Sitemap: https://www.deepseek.com/sitemap.xml | UNVERIFIED | Keine Anbieterquelle gefunden. |
Ebenfalls nicht auf dieser Seite
- Eine empfohlene robots.txt. Was Sie erlauben, ist eine Geschäftsentscheidung über Ihre Inhalte, kein technischer Standardwert. Diese Seite liefert die Klassen, mit denen Sie sie treffen können.
- Die Behauptung, ein erlaubter Agent führe zu einer Zitierung. Jeder Anbieter, der sich dazu äußert, garantiert keine Aufnahme. Berechtigung ist keine Auswahl.
- Crawler-Listen Dritter. Es gibt mehrere; keine ist eine Anbieterquelle, und diese Seite hat genau eine Quellenregel: Eine DOCUMENTED-Zeile kommt vom Anbieter.
- Beobachtungen aus Server-Logs. Wir haben keine Crawler-Zugriffe veröffentlicht. Wenn wir es tun, sind diese Zeilen OBSERVED und stehen klar getrennt von diesen hier.
- Googles übrige Crawler auf derselben Seite — die Bild-, Video- und News-Varianten von Googlebot, Storebot-Google, Google-InspectionTool, GoogleOther und Google-CloudVertexBot. Keiner ist dort als Zulieferer der KI-Funktionen der Google-Suche beschrieben; Google-CloudVertexBot crawlt nur, wenn ein Seitenbetreiber es anfordert, für Vertex AI Agents. Der Link zur Google-Quelle führt zur vollständigen Liste.
LLMS.TXT
Googles Wortlaut, zweimal — und die Datei, die wir trotzdem pflegen
Die Google-Suche ignoriert sie. In Googles Worten:
You don’t need to create new machine readable files, AI text files, markup, or Markdown to appear in Google Search (including its generative AI capabilities), as Google Search itself doesn’t use them.Google · DOCUMENTED · 2026-09-27
It’s completely fine if you decide to create and maintain LLMS.txt files (or other similar files) for other services or systems that use these files. Doing so will neither harm nor help your site’s visibility or rankings in Google Search, as Google Search ignores them.Google · DOCUMENTED · 2026-09-27
Das ist die ganze Google-Antwort, und diese Seite schwächt sie nicht ab. Welche Werkzeuge lesen die Datei? Einige. Diese Seite listet sie nicht, weil wir kein einziges aus einer Anbieterquelle geprüft haben — jede Liste hier wäre UNVERIFIED im Gewand einer Referenz. Prüfen wir eines, bekommt es eine Zeile, einen Link und ein Datum wie alles andere.
Wir veröffentlichen auf dieser Seite eine llms.txt und pflegen sie von Hand, für die Werkzeuge, die sie lesen. Sie ist nicht Teil irgendeiner Aussage über Google.
Drei benachbarte Annahmen, dieselbe Quelle, dasselbe Datum
| Verbreitete Annahme | Googles Wortlaut | Klasse | Geprüft | Quelle |
|---|---|---|---|---|
| Inhalte müssen für KI in kleine Stücke zerlegt werden. | There’s no requirement to break your content into tiny pieces for AI to better understand it. | DOCUMENTED | Google · AI features and your website | |
| Für KI-Funktionen braucht es besondere strukturierte Daten. | Structured data isn’t required for generative AI search, and there’s no special schema.org markup you need to add. | DOCUMENTED | Google · AI features and your website | |
| Für die KI-Suche braucht es einen eigenen Schreibstil. | The best practices for SEO continue to be relevant because our generative AI features on Google Search are rooted in our core Search ranking and quality systems. | DOCUMENTED | Google · AI features and your website |
WAS WIR AUF DER EIGENEN SEITE FAHREN
Offenlegung · OBSERVED · gegen die Live-Datei prüfbar
blackoarstudio.com/robots.txt · gelesen
User-agent: *
Allow: /
Sitemap: https://blackoarstudio.com/sitemap-index.xmlJeder Agent dieser Seite ist auf dieser Website derzeit erlaubt, die Trainingsbots eingeschlossen. Das ist eine bewusste Position für ein Studio ohne lizenziertes Archiv, das es zu schützen gäbe — und kein Rat. Ein Verlag mit Inhalten, die sich lizenzieren lassen, kann vernünftigerweise das Gegenteil entscheiden; die Trainingstabelle oben ist genau die Tabelle, mit der das geht, ohne Suchsichtbarkeit zu verlieren — dort, wo der Anbieter die Trennung dokumentiert.
OBSERVED — eine Live-Kopie unserer eigenen Datei, 2026-09-27. Keine Anbieteraussage.
Die Datei ist nicht das ganze Bild — siehe die CDN-Schicht unter Prüfung. Am selben Datum haben wir die Cloudflare-Einstellungen dieser Website gelesen. Es ist keine Richtlinie für KI-Crawler gesetzt: Search, Agent und Training bleiben auf jeder Seite ungesperrt, keine der drei sperrt nur auf Seiten mit Werbung, die alte Regel „Block AI bots“ ist aus, ebenso der Bot Fight Mode. Cloudflare verwaltet die robots.txt oben nicht.
OBSERVED — aus dem eigenen Konto gelesen, 2026-09-27. Anders als die Datei lässt es sich von außen nicht prüfen; es steht hier, damit die robots.txt oben nicht für die ganze Konfiguration gehalten wird.
PRÜFRHYTHMUS
Nächste Prüfung: 2026-12-05
Diese Seite beschreibt die Systeme anderer und veraltet ohne Vorwarnung — auf eine Art, die ein Link-Check nicht erkennt. Unsere eigene Quellenliste entstand am 26. August 2026 und wurde am 2026-09-05 für Version 1.0 neu gelesen. Was dabei herauskam — OBSERVED:
- Jede URL unserer eigenen Liste vom 26. August 2026 löste am 5. September 2026 noch auf. Ein Link-Check hätte nichts gemeldet.
- In denselben zehn Tagen tauchten zwei Agenten in Anbieter-Dokumentationen auf, die auf keiner unserer Listen standen: OpenAIs OAI-AdsBot und Metas Meta-WebIndexer. Keiner bewegte eine URL.
- Googles Leitfaden wurde zu llms.txt so deutlich, dass er sich wörtlich zitieren lässt. Die URL blieb; der Wortlaut nicht.
- Zwei Dokumentations-Adressen zogen um (OpenAIs Bots-Seite und Googles Crawler-Übersicht), beide mit Weiterleitung. Beide stehen hier unter ihrer aktuellen Adresse.
Version 1.1 — jede Quelle neu gelesen am 2026-09-27
Früher als geplant, aus zwei Gründen: Cloudflare hat neue Standardwerte für KI-Crawler angekündigt, und ein Abgleich von Version 1.0 mit den Anbieter-Dokumenten hat Lücken gefunden. Jedes Zitat wurde per Skript gegen das aktuelle Dokument geprüft, jeder Endpunkt abgerufen, alles mit Prüfsummen gesichert. Was sich bei den Anbietern bewegt hatte — OBSERVED:
- Jede zitierte Passage steht weiter in ihrer Quelle. Eine stand beim falschen Agenten — dazu die nächste Zeile.
- Das robots.txt-Zitat zu Meta-ExternalFetcher in Version 1.0, “might bypass robots.txt”, steht in Metas Dokument nur im Satz über FacebookExternalHit. Für Meta-ExternalFetcher heißt es dort “may bypass robots.txt”. Meta datiert die Seite auf den 21. Mai 2026; wahrscheinlicher ist deshalb ein Abschreibfehler in Version 1.0 als eine Änderung bei Meta. Entscheiden lässt es sich nicht, weil die Kopie von Version 1.0 eine Abschrift war.
- Zwei Quellen sind umgezogen, beide von der alten Adresse aus im Browser weiter erreichbar: Metas Crawler-Seite (von /docs/ nach /documentation/) und Bings Blogbeitrag von 2023 (von /september-2023/ nach /2023/9/). Beide stehen unter ihrer aktuellen Adresse, die alte ist vermerkt.
- Alle Endpunkte antworteten mit HTTP 200 und einer Adressliste im Inhalt. Die Listen haben ihre Länge geändert, wie Listen es tun.
- Meta verweigert weiterhin den Rohabruf (HTTP 400), Bings Crawler-Tabelle entsteht weiterhin per JavaScript. Diesmal wurden auch die gerenderten Kopien gesichert.
- Die größte Änderung des Zeitraums stand in keinem Crawler-Dokument: Cloudflare hat neue Standardwerte für KI-Crawler zum 15. September 2026 angekündigt (die CDN-Schicht, unter Prüfung).
Was wir an dieser Seite geändert haben — auch das, was Version 1.0 schlicht übersehen hatte:
- Korrigiert: ByteDance dokumentiert Bytespider — auf Chinesisch, im Webmaster-Portal seiner Suchmaschine Toutiao, mit Reverse-DNS-Muster und zehn IP-Bereichen. Version 1.0 führte ihn als undokumentiert. Jetzt hat er eine Zeile, zitiert in der Sprache des Anbieters, und einen Prüfeintrag.
- Ergänzt: CCBot in der Prüftabelle — Common Crawls Reverse-DNS-Muster und IP-Liste. Beides stand in dem Dokument, das wir am 5. September gelesen haben; Version 1.0 hat es übersehen.
- Ergänzt: welche Amazon-Liste zu welchem Agenten gehört. Das Dokument sagte es am 5. September; Version 1.0 nannte die drei Seiten, ohne sie zuzuordnen — und ihre Namen führen in die Irre.
- Neu eingeordnet: Applebot, Meta-ExternalAgent und Amazonbot als Mehrfachzweck — ein Agent, mehrere dokumentierte Zwecke, Training darunter. Version 1.0 führte Applebot unter Suche und die anderen beiden unter Training. Die Zitate zu Applebot und Amazonbot sind unverändert; Meta-ExternalAgent ist jetzt bis zum Satzende zitiert, wo der zweite Zweck steht.
- Ergänzt: Meta-ExternalAds und FacebookExternalHit, die beiden Meta-Agenten ohne Aufgabe in der KI-Suche — damit sich ihre Namen im Log zuordnen lassen.
- Ergänzt: wo kein Prüf-Endpunkt veröffentlicht ist — bei Meta für alle fünf Agenten, bei Mistral für den Trainings-Crawler.
- Ergänzt: die CDN-Schicht — Cloudflares Standardwerte für KI-Crawler, eine Notiz an den Zeilen zu Googlebot und bingbot, und was diese Seite auf dieser Schicht fährt.
Inhalte driften unter stabilen URLs. Deshalb trägt jede Zeile ein Datum und nicht nur einen Link.
- Jede Zeile trägt das Datum, an dem ihre Quelle zuletzt gelesen wurde. Dieses Datum ist die Aussage.
- Neu geprüft vierteljährlich — und immer, wenn ein Anbieter eine Änderung ankündigt.
- Zieht eine Quelle um, ändert sie ihren Wortlaut oder verschwindet sie, wird die Zeile markiert und neu datiert. Die alte Aussage wird nie still umgeschrieben — dieselbe Regel, die wir auf unsere eigenen Messungen anwenden.
- Nächste planmäßige Prüfung: 2026-12-05.
QUELLEN
Nur Anbieter-Dokumente · gelesen 2026-09-27 · mit Prüfsummen gesichert
- OpenAI · crawler documentation developers.openai.com/api/docs/bots
- Google · common crawlers developers.google.com/crawling/docs/crawlers-fetchers/google-common-crawlers
- Google · user-triggered fetchers developers.google.com/crawling/docs/crawlers-fetchers/google-user-triggered-fetchers
- Google · AI features and your website developers.google.com/search/docs/fundamentals/ai-optimization-guide
- Bing · which crawlers does Bing use www.bing.com/webmasters/help/which-crawlers-does-bing-use-8c184ec0 Crawler-Tabelle per JavaScript gerendert — von der gerenderten Seite gelesen
- Bing Webmaster Blog · NOCACHE and NOARCHIVE blogs.bing.com/webmaster/2023/9/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat/ umgezogen von blogs.bing.com/webmaster/september-2023/Announcing-new-options-for-webmasters-to-control-usage-of-their-content-in-Bing-Chat — vermerkt
- Perplexity · crawlers docs.perplexity.ai/docs/resources/perplexity-crawlers
- Anthropic · does Anthropic crawl data from the web support.claude.com/en/articles/8896518-does-anthropic-crawl-data-from-the-web-and-how-can-site-owners-block-the-crawler
- Mistral · robots docs.mistral.ai/robots
- Meta · web crawlers developers.facebook.com/documentation/sharing/webmasters/web-crawlers umgezogen von developers.facebook.com/docs/sharing/webmasters/web-crawlers/ — vermerkt Rohabruf verweigert (HTTP 400) — von der gerenderten Seite gelesen
- Apple · about Applebot support.apple.com/en-us/119829
- Amazon · Amazonbot developer.amazon.com/amazonbot
- Common Crawl · CCBot commoncrawl.org/ccbot
- ByteDance · about Bytespider (Toutiao Search, in Chinese) zhanzhang.toutiao.com/docs/intro/26899
- Cloudflare · AI bot policies (block AI bots) developers.cloudflare.com/bots/additional-configurations/block-ai-bots/
- Cloudflare Blog · new AI traffic options blog.cloudflare.com/content-independence-day-ai-options/
Zwei Dokumente ließen sich nicht roh sichern und sind oben und in ihren Zeilen markiert. Beide wurden von der gerenderten Seite gelesen; seit Version 1.1 ist auch die gerenderte Kopie gesichert. Festgehalten, damit ein Leser weiß, welche Zeilen auf einem gesicherten Dokument ruhen und welche auf einer Abschrift. Die IP-Endpunkte der Prüftabelle wurden am selben Datum abgerufen und neben den Dokumenten gesichert. Ein Dokument ist auf Chinesisch (ByteDance) und wird auf Chinesisch zitiert.
