3 Arten von Bots
- Trainings-Bots sammeln Texte, um Modelle zu trainieren, zum Beispiel GPTBot von OpenAI und ClaudeBot von Anthropic.
- Such-Bots bauen den Index auf, den Assistenten durchsuchen, zum Beispiel OAI-SearchBot, Claude-SearchBot und PerplexityBot.
- Nutzer-Bots öffnen eine Seite, weil eine Person danach gefragt hat, zum Beispiel ChatGPT-User, Claude-User und Perplexity-User. Weil ein Mensch den Besuch auslöst, halten sich manche davon nicht an die robots.txt.
Google und Apple funktionieren anders
- Google-Extended ist kein Crawler, sondern ein Eintrag in der robots.txt. Er entscheidet, ob Google Ihre Inhalte für das Training von Gemini und für Antworten in den Gemini-Apps nutzen darf. Laut Google hat er keinen Einfluss auf die Google-Suche oder Ihr Ranking.
- Applebot-Extended legt fest, ob Apple Ihre Inhalte für das Training seiner KI-Modelle verwenden darf.
Ein Beispiel
Diese robots.txt hält den Trainings-Bot von OpenAI fern, während die ChatGPT-Suche Ihre Seiten weiterhin zeigen kann:
User-agent: GPTBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: *
Allow: /Unsere Empfehlung
Lassen Sie die Such-Bots zu, sonst können Sie in KI-Antworten nicht erscheinen. Bei den Trainings-Bots entscheiden Sie bewusst: Sind Ihre Texte Ihr Produkt, etwa bei einem Verlag, kann eine Sperre sinnvoll sein. Für die meisten Dienstleister ist es ein Vorteil, wenn KI-Modelle wissen, wer sie sind und was sie anbieten. Unsere eigene Website lässt alle zu.
Prüfen Sie Ihren Stand
Öffnen Sie ihredomain.ch/robots.txt im Browser. Manche Hostinganbieter und Sicherheitsdienste sperren KI-Bots standardmässig, manchmal ohne es zu sagen. Mehr zum Gesamtbild lesen Sie in So finden KI-Assistenten Websites.
Fragen und Antworten
Verschwinde ich aus ChatGPT, wenn ich GPTBot sperre?
Nein. GPTBot dient dem Training. Die ChatGPT-Suche nutzt OAI-SearchBot, den Sie separat erlauben können.
Beeinflusst Google-Extended mein Google-Ranking?
Nein. Laut Google ist Google-Extended kein Rankingfaktor und hat keinen Einfluss darauf, ob Sie in der Google-Suche erscheinen.