# ============================================================================
# ROBOTS.TXT - Wir verlegen Estrich
# ============================================================================
# Enterprise SEO Configuration für 757+ indexierbare Seiten
# Letzte Aktualisierung: 2026-01-11
# ============================================================================

# Alle Crawler erlaubt
User-agent: *
Allow: /

# Crawl-Delay für respektvolles Crawling (optional, wird oft ignoriert)
Crawl-delay: 1

# ============================================================================
# WICHTIGE VERZEICHNISSE - EXPLIZIT ERLAUBT
# ============================================================================

# Städteseiten (653 Seiten)
Allow: /estrichleger/

# Standorte (32 Seiten)
Allow: /standorte/

# Ratgeber/Blog (31 Seiten)
Allow: /ratgeber/

# Leistungsseiten
Allow: /estriche/
Allow: /daemmung/
Allow: /designboeden/
Allow: /kosten/

# Unternehmensseiten
Allow: /kontakt/
Allow: /unternehmen/
Allow: /faq/
Allow: /partner/
Allow: /downloads/

# ============================================================================
# TECHNISCHE DATEIEN BLOCKIEREN
# ============================================================================

# Next.js interne Dateien
Disallow: /_next/
Disallow: /api/

# Admin-Bereich
Disallow: /admin/

# Suchseiten und Filter (Duplicate Content vermeiden)
Disallow: /*?*
Disallow: /search
Disallow: /suche

# ============================================================================
# SITEMAPS
# ============================================================================

Sitemap: https://wirverlegenestrich.de/sitemap.xml

# ============================================================================
# CRAWLER-SPEZIFISCHE REGELN
# ============================================================================

# Google (kein Crawl-Delay, voller Zugriff)
User-agent: Googlebot
Allow: /
Crawl-delay: 0

# Google Images
User-agent: Googlebot-Image
Allow: /images/
Allow: /*.jpg$
Allow: /*.png$
Allow: /*.webp$
Allow: /*.avif$

# Bing
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# ============================================================================
# BLOCKED BOTS (Scraper, aggressive SEO-Tools)
# ============================================================================

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DataForSeoBot
Disallow: /

# ============================================================================
# HOST (kanonische Domain)
# ============================================================================

Host: https://wirverlegenestrich.de