SWARM-DocReader

U bent hier waarschijnlijk omdat deze naam in uw serverlogs verscheen:

SWARM-DocReader/<version> (+https://swarm-software.ai/bot/)

SWARM is een self-hosted platform voor IT-operations. Het koppelt met producten via hun API's en houdt zijn kennis van die API's actueel door de eigen openbare documentatie van elke leverancier te lezen. SWARM-DocReader is het onderdeel dat dat leeswerk doet. Elk verzoek komt van de eigen SWARM-installatie van een klant, niet van een centrale crawler.

Wat hij opvraagt

  • Openbare documentatiepagina's van een product waarmee de installatie integreert: de API-referentie, een gepubliceerde OpenAPI-beschrijving, een changelog, release notes, deprecation-meldingen.
  • Alleen adressen die een beheerder voor dat product heeft geregistreerd, en pagina's op dezelfde host waarnaar die documenten linken.
  • Hij volgt geen links door een site, indexeert geen pagina's en verzamelt niets anders dan de tekst van het document waarom gevraagd is.

Hoe hij zich gedraagt

  • Hij haalt eerst /robots.txt op en houdt zich daaraan. Als dat bestand niet kan worden opgehaald, leest hij niets van de site.
  • Maximaal één verzoek per seconde per host.
  • Hij stuurt If-None-Match en If-Modified-Since mee, zodat een ongewijzigd document slechts een 304 kost.
  • Hij stuurt geen cookies en geen inloggegevens mee en voert geen scripts uit.

Hem weren

Voeg er een groep voor toe aan uw robots.txt:

User-agent: SWARM-DocReader
Disallow: /

Een specifiekere Disallow werkt ook. Regels voor User-agent: * gelden voor hem als geen enkele groep hem bij naam noemt.

Vragen

Misdraagt hij zich op uw site? Laat het ons weten en vermeld het tijdstip en het opgevraagde pad.