Zugang für KI-Dienste

Was wir prüfen

Wir prüfen auf drei Wegen, ob KI-Dienste die Website lesen können:

1. robots.txt. Wir lesen, ob sie Crawler sperrt, die KI-Antworten liefern:

Dienst	Crawler
ChatGPT	OAI-SearchBot, ChatGPT-User
Claude	Claude-SearchBot, Claude-User
Perplexity	PerplexityBot, Perplexity-User
Copilot	Bingbot
Gemini	Googlebot

Ist einer davon gesperrt, ist das ein schwerer Mangel. Kleinere Assistenten erreichen weniger Menschen, deshalb kostet ihre Sperre nur die Hälfte der Punkte:

Dienst	Crawler
Meta AI	Meta-ExternalFetcher
Siri und Apple Intelligence	Applebot
DuckDuckGo	DuckAssistBot
Alexa	Amazonbot
Le Chat (Mistral)	MistralAI-User

Gesperrte Trainings-Crawler (GPTBot, ClaudeBot, Google-Extended, CCBot, Applebot-Extended, Meta-ExternalAgent, Bytespider) melden wir nur als Hinweis ohne Punktabzug.

2. Firewall. Wir rufen die Startseite mit den Kennungen von KI-Diensten auf. Antwortet der Server darauf mit einem Fehler oder einer Bot-Prüfung, obwohl er uns die Seite sonst normal zeigt, sperrt vermutlich ein Bot-Schutz die KI-Dienste. Weil manche Firewalls zusätzlich prüfen, woher eine Anfrage kommt, ist das ein Hinweis, kein Beweis, und kostet nur die Hälfte der Punkte.

3. Content Signals. Wir lesen, ob die robots.txt mit «Content-Signal» festlegt, wofür KI-Dienste die Inhalte verwenden dürfen. Untersagt sie Suche oder KI-Antworten (search=no oder ai-input=no), gibt es eine Warnung.

Warum das wichtig ist

Immer mehr Menschen fragen ChatGPT, Claude, Perplexity oder Copilot statt Google: «Welche Bank bietet ein Konto ohne Kontoführungsgebühren?» Die Assistenten suchen dann im Web und zitieren die Seiten, die sie lesen konnten.

Eine Website, die diese Dienste aussperrt, kommt in den Antworten nicht vor. Das passiert oft unbewusst:

• Eine Agentur oder ein Plugin hat «alle KI-Bots sperren» eingestellt, um Inhalte vor dem Training zu schützen, und dabei auch die Antwort-Crawler erwischt.
• Ein Bot-Schutz wie Cloudflare blockiert KI-Crawler standardmässig.
• Eine robots.txt-Vorlage aus dem Internet sperrt pauschal alles ausser Google.

Wir messen, ob KI-Dienste die Website lesen können. Ob sie die Website oder das Unternehmen dahinter tatsächlich empfehlen, hängt von vielen weiteren Faktoren ab.

So behebst Du es

robots.txt

Eine robots.txt, die Antwort-Crawler zulässt und Trainings-Crawler sperrt, sieht so aus:

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: CCBot
User-agent: Meta-ExternalAgent
User-agent: Bytespider
Disallow: /

User-agent: *
Content-Signal: search=yes, ai-input=yes, ai-train=no
Disallow:

Sitemap: https://www.beispiel.ch/sitemap.xml

Willst Du auch das Training erlauben, lass den ersten Block weg und setze ai-train=yes.

Bot-Schutz und Firewall

Prüfe in Cloudflare, Sucuri, Wordfence oder der Firewall des Hosters, ob KI-Crawler blockiert werden. Lass mindestens die Antwort-Crawler aus der Tabelle oben zu.

WordPress

SEO-Plugins wie Yoast SEO und Rank Math haben einen Editor für die robots.txt. Prüfe auch Sicherheits-Plugins auf Einstellungen wie «KI-Bots blockieren».

So prüfst Du es selbst

Ruf https://beispiel.ch/robots.txt auf und such nach den Namen aus der Tabelle. Steht unter einem davon Disallow: /, ist er gesperrt.

Häufige Fragen

Ich will nicht, dass KI-Firmen mit meinen Texten trainieren. Muss ich alles sperren?

Nein. Für das Training gibt es eigene Crawler wie GPTBot, ClaudeBot oder Google-Extended. Sperrst Du diese, kostet das keine Punkte. Die Crawler, die Antworten und Empfehlungen liefern, sind davon getrennt und können weiter Zugang haben.

Was ist der Unterschied zwischen einem Trainings- und einem Antwort-Crawler?

Trainings-Crawler sammeln Texte, um künftige KI-Modelle zu trainieren. Antwort-Crawler rufen Seiten auf, wenn jemand jetzt eine Frage stellt, und zitieren sie mit Link. Nur Letztere bringen direkt Besucher.

Ich nutze Cloudflare. Was muss ich einstellen?

Cloudflare kann KI-Crawler über «AI Crawl Control» bzw. die Bot-Einstellungen sperren. Prüfe dort, welche Crawler blockiert sind, und lass mindestens die Antwort-Crawler zu.