## Das Problem mit den Annahmen

Die meiste Website-Optimierung geht davon aus, dass ein Besucher deine Seite per HTTP abruft, die Header sieht, Redirects folgt und HTML rendert. KI-Agenten brechen jede einzelne dieser Annahmen.

## ChatGPT

ChatGPTs Browsing-Tool ruft Seiten live per HTTP ab, aber das Modell sieht nie die rohe Antwort:

- **Nur Textextraktion** — das HTML wird auf einen begrenzten Klartext-Auszug reduziert, bevor das Modell ihn sieht (das genaue Budget ist nicht dokumentiert; Community-Tests haben einige tausend Tokens gemessen)
- **Keine Header** — das Modell erfährt nie Content-Type, Statuscodes oder Redirects
- **SearchGPT als Zwischenschicht** — ein zweites Modell prüft auf Prompt Injection, bevor Inhalte das Hauptmodell erreichen
- **Agent Mode** nutzt einen gefälschten Chrome-UA (`Chrome/138.0.0.0`) und identifiziert sich über kryptografische Signaturen nach RFC 9421, nicht über den User-Agent

**Was das bedeutet:** Content Negotiation funktioniert stillschweigend (die Tool-Schicht übernimmt sie), aber das Modell sieht nur den extrahierten Text. Liefere sauberen, strukturierten Text aus, und deine Inhalte werden für ChatGPT nützlicher.

## Perplexity

Perplexity nutzt eine mehrstufige Retrieval-Pipeline:

- **Stealth-Crawler** — 3-6 Millionen Requests pro Tag mit generischen Chrome-UAs und rotierenden IPs, nicht `PerplexityBot`
- **Hybrides Ranking** — BM25-Keyword-Matching plus Vektor-Ähnlichkeit, um relevante Passagen zu finden
- **Atomare Span-Extraktion** — extrahiert gezielte Textabschnitte statt ganzer Seiten
- **Eigener Index** — pflegt einen eigenen gecrawlten Index neben den Websuche-Ergebnissen

**Was das bedeutet:** Deine `robots.txt`-Regeln für `PerplexityBot` stoppen deren Stealth-Crawler womöglich nicht. Strukturierte Inhalte mit klaren Überschriften helfen der Span-Extraktion, die richtigen Passagen zu finden.

## Gemini

Geminis häufigster Browsing-Modus trifft deinen Server überhaupt nicht:

- **Index-basiert** — `url_context` liest aus Googles internem Index, nicht per Live-HTTP. In Tests tauchte kein Request in den Server-Logs auf
- **Screenshot-basiert** — Geminis agentische Browsing-Modi rendern die Seite visuell, wenn die Aufgabe es erfordert (laut Presseberichten wurde der Project-Mariner-Prototyp 2026 in Geminis Agent-Features integriert)
- **Markdown abgelehnt** — die Gemini CLI hat `Accept: text/markdown`-Antworten in frühen Tests zurückgewiesen

**Was das bedeutet:** Deine Website muss von Googlebot indexiert sein, damit Gemini sie sieht. Ein `<link rel="alternate" href="/llms.txt">` in deinem HTML stellt sicher, dass Google die [llms.txt](/kb/de/llms-txt)-Beziehung indexiert. JSON-LD-strukturierte Daten überstehen die Indexierungspipeline ebenfalls.

## Was du dagegen tun kannst

| Maßnahme | Hilft bei |
|--------|------------|
| `llms.txt` mit sauberem Markdown ausliefern | ChatGPT, Perplexity |
| `<link rel="alternate" href="/llms.txt">` hinzufügen | Gemini (über den Google-Index) |
| JSON-LD-strukturierte Daten hinzufügen | Gemini (über den Google-Index) |
| `Google-Extended` in der [robots.txt](/kb/de/robots-txt) nicht blockieren | Gemini |
| RFC-9421-Signaturen zur Bot-Authentifizierung nutzen | Verifikation im ChatGPT Agent Mode |
| Strukturierte Inhalte mit klaren Überschriften ausliefern | Perplexitys Span-Extraktion |

## Mehr erfahren

- [Dejan.ai: Google's URL Context Tool](https://dejan.ai/blog/googles-new-url-context-tool/)
- [Dejan.ai: AI Mode Is Not Live Web](https://dejan.ai/blog/ai-mode-is-not-live-web/)
- [Cloudflare: Perplexity Stealth Crawlers](https://blog.cloudflare.com/perplexity-is-using-stealth-undeclared-crawlers-to-evade-website-no-crawl-directives/)
- [SeatGeek: Chasing Signature](https://chairnerd.seatgeek.com/chasing-signature/)

## Verwandte Themen

- [SKILL.md](/kb/de/skills)
- [OpenAPI](/kb/de/openapi)
- [A2A](/kb/de/a2a)
- [WebMCP](/kb/de/webmcp)

## Die Crawler-Ebenen hinter den Assistenten

Jeder der Assistenten oben wird von mehreren eigenständigen Bots mit separaten robots.txt-Tokens gespeist: **Training-Crawler** (GPTBot, ClaudeBot), **Suchindex-Crawler** (OAI-SearchBot, Claude-SearchBot, PerplexityBot) und **nutzerinitiierte Fetcher** (ChatGPT-User, Claude-User, Perplexity-User) — und eine Ebene zu blockieren bewirkt nichts bei den anderen. Die [User-Agent-Referenz für KI-Agenten](/agents) dokumentiert für jeden Bot den exakten UA-String, das robots.txt-Verhalten und die IP-Verifikation; [der robots.txt-Guide](/kb/de/robots-txt) erklärt das Ebenen-Modell und liefert Copy-Paste-Muster zum Erlauben und Blockieren.