SWARM-DocReader

Sie sind vermutlich hier, weil dieser Name in Ihren Server-Logs aufgetaucht ist:

SWARM-DocReader/<version> (+https://swarm-software.ai/bot/)

SWARM ist eine selbst gehostete Plattform für den IT-Betrieb. Sie bindet Produkte über deren APIs an und hält ihr Wissen über diese APIs aktuell, indem sie die öffentliche Dokumentation des jeweiligen Herstellers liest. SWARM-DocReader ist der Teil, der dieses Lesen übernimmt. Jede Anfrage stammt von der eigenen SWARM-Installation eines Kunden, nicht von einem zentralen Crawler.

Was er abruft

  • Öffentliche Dokumentationsseiten zu einem Produkt, das die Installation integriert: die API-Referenz, eine veröffentlichte OpenAPI-Beschreibung, ein Changelog, Release Notes, Hinweise zu Abkündigungen.
  • Nur Adressen, die ein Administrator für dieses Produkt hinterlegt hat, sowie Seiten auf demselben Host, auf die diese Dokumente verlinken.
  • Er folgt keinen Links quer über eine Website, indexiert keine Seiten und erfasst nichts außer dem Text des angefragten Dokuments.

Wie er sich verhält

  • Er ruft zuerst /robots.txt ab und hält sich daran. Lässt sich die Datei nicht abrufen, liest er nichts von der Website.
  • Höchstens eine Anfrage pro Sekunde an einen Host.
  • Er sendet If-None-Match und If-Modified-Since, sodass ein unverändertes Dokument nur ein 304 kostet.
  • Er sendet keine Cookies und keine Zugangsdaten und führt keine Skripte aus.

So sperren Sie ihn aus

Fügen Sie Ihrer robots.txt eine Gruppe für ihn hinzu:

User-agent: SWARM-DocReader
Disallow: /

Eine enger gefasste Disallow-Regel funktioniert ebenfalls. Regeln für User-agent: * gelten für ihn, wenn keine Gruppe ihn namentlich nennt.

Fragen

Falls er sich auf Ihrer Website fehlerhaft verhält, sagen Sie uns Bescheid und nennen Sie dabei den Zeitpunkt und den angefragten Pfad.