Unerwünsche Bots sperren

🧱 Unerwünschte Bots sperren (IIS / web.config)

🎯 Zielsetzung

Diese Seite dokumentiert, wie gezielte Bot-Zugriffe auf IIS-Webservern unterbunden werden können – insbesondere solche, die Inhalte absaugen, Serverressourcen belasten oder keinen erkennbaren Nutzen für den Betreiber bringen.

🔍 Identifikation über Logdateien

Beispielhafte Einträge aus IIS-Logs:

2025-09-26 02:08:50 ... GET /app.php/feed/forum/12 ... AhrefsBot/7.0 ... 200
2025-09-26 02:22:08 ... GET /memberlist.php ... DotBot/1.2 ... 200

Diese Bots ignorieren oft robots.txt oder agieren außerhalb legitimer Indexierungszwecke.

🛠 Umsetzung via web.config

📦 Voraussetzung

• IIS 10+
• URL Rewrite Module: Download-Link

🧩 Beispielregel

<rewrite>
  <rules>
    <rule name="BlockBadBots" stopProcessing="true">
      <match url=".*" />
      <conditions logicalGrouping="MatchAny">
        <add input="{HTTP_USER_AGENT}" pattern="AhrefsBot" />
        <add input="{HTTP_USER_AGENT}" pattern="DotBot" />
      </conditions>
      <action type="CustomResponse" statusCode="403" statusReason="Forbidden" statusDescription="Access denied." />
    </rule>
  </rules>
</rewrite>

Diese Regel wird vor anderen Rewrite-Regeln ausgeführt und blockiert die Anfrage mit HTTP 403.

📁 Integration in bestehende web.config

Die Bot-Sperre wird direkt unter <system.webServer><rewrite><rules> eingefügt – vor anderen Regeln, um frühzeitig zu greifen.

Beispielstruktur

<system.webServer>
  <rewrite>
    <rules>
      <!-- Bot-Sperre -->
      <rule name="BlockBadBots" ... />

      <!-- Bestehende Rewrite-Regeln -->
      <rule name="Extension Routes" ... />
    </rules>
  </rewrite>
</system.webServer>

🧠 Erweiterung

Weitere Bots können modular ergänzt werden:

<add input="{HTTP_USER_AGENT}" pattern="SemrushBot" />
<add input="{HTTP_USER_AGENT}" pattern="Baiduspider" />

📉 Alternativen & Grenzen

• robots.txt: Wird oft ignoriert.
• IP-Blocking: Nur sinnvoll bei wiederkehrenden IPs.
• Firewall-Regeln: Effektiver, aber komplexer.
• Rate-Limiting: Nur mit zusätzlicher Infrastruktur.

🧾 Dokumentationshinweis

Diese Seite ist Teil der Infrastruktur-Dokumentation zur Sicherung und Entlastung des Webservers. Änderungen an Bot-Regeln sollten versioniert und mit Logbeispielen dokumentiert werden.

---

Letzte Aktualisierung: 20.10.2025