# =============================================
# Erstellt am: 05.11.2017, 15:06
# Webseite: https://www.honig-aus-thueringen.de
# =============================================


# =============================================
# Folgende Seiten sollen nicht indexiert werden:
# =============================================

User-Agent: *
Disallow:
Allow: /

# ===================================
# Schließe folgende Spider komplett aus:
# ===================================

User-agent: WebReaper
User-agent: WebCopier
User-agent: Offline Explorer
User-agent: HTTrack
User-agent: Microsoft.URL.Control
User-agent: EmailCollector
User-agent: penthesilea
User-agent: netEstate NE Crawler
Disallow: /