# robots.txt jb-computer.de — Stand 2026-08-25 (KI-Optimierung Schritt 1)
# Aenderungen ggu. Vorversion:
# - Sitemaps + Google-Shopping-Feed unter /export/ explizit erlaubt (waren
#   durch "Disallow: /export/" mitgesperrt -> Google/Bing durften die
#   Sitemap-Dateien formal nicht laden)
# - KI-Bots (ChatGPT, Claude, Perplexity, Gemini, Alexa/Rufus) explizit
#   aufgefuehrt mit denselben Standard-Regeln wie alle Crawler
# v3 (25.08. abends): + Disallow ?qs=/?suche= (Suchergebnis-Seiten; Bots
# triggerten JTL-Suchcache-Bug mit 2-Zeichen-Begriffen, 200-400 SQL-Fehler/Tag)

User-agent: *
Disallow: /*?Sortierung=
Disallow: /*?af=
Disallow: /*?qf=
Disallow: /*?cf=
Disallow: /*?qs=
Disallow: /*?suche=
Disallow: /*__*__*__*
Disallow: /admin/
Disallow: /includes/
Disallow: /install/
Disallow: /update/
Disallow: /gfx/
Allow: /export/sitemap_*.xml*
Allow: /export/googleshopping*
Disallow: /export/

# --- KI-Suche & Assistenten: ausdruecklich willkommen (Standard-Regeln) ---
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: GPTBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: ClaudeBot
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Amazonbot
Disallow: /*?Sortierung=
Disallow: /*?af=
Disallow: /*?qf=
Disallow: /*?cf=
Disallow: /*?qs=
Disallow: /*?suche=
Disallow: /*__*__*__*
Disallow: /admin/
Disallow: /includes/
Disallow: /install/
Disallow: /update/
Disallow: /gfx/
Allow: /export/sitemap_*.xml*
Allow: /export/googleshopping*
Disallow: /export/

User-agent: facebookexternalhit
Crawl-delay: 10

User-agent: Bytespider
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: PetalBot
Disallow: /

Sitemap: https://jb-computer.de/sitemap_index.xml