SWARM-DocReader

Vous êtes probablement ici parce que ce nom est apparu dans les journaux de votre serveur :

SWARM-DocReader/<version> (+https://swarm-software.ai/bot/)

SWARM est une plateforme d’opérations IT auto-hébergée. Elle se connecte aux produits via leurs API et maintient à jour ce qu’elle sait de ces API en lisant la documentation publique de chaque éditeur. SWARM-DocReader est le composant chargé de cette lecture. Chaque requête provient de l’installation SWARM propre à un client, et non d’un robot d’indexation central.

Ce qu’il demande

• Les pages de documentation publiques d’un produit avec lequel l’installation est intégrée : la référence de l’API, une description OpenAPI publiée, un changelog, des notes de version, des avis de dépréciation.
• Uniquement les adresses qu’un administrateur a enregistrées pour ce produit, ainsi que les pages du même hôte vers lesquelles ces documents pointent.
• Il ne suit pas les liens à travers un site, n’indexe pas de pages et ne collecte rien d’autre que le texte du document demandé.

Son comportement

• Il récupère d’abord /robots.txt et le respecte. Si le fichier ne peut pas être récupéré, il ne lit rien sur le site.
• Au maximum une requête par seconde et par hôte.
• Il envoie If-None-Match et If-Modified-Since : un document inchangé ne coûte donc qu’une réponse 304.
• Il n’envoie ni cookies ni identifiants, et n’exécute pas de scripts.

Le bloquer

Ajoutez-lui un groupe dans votre robots.txt :

User-agent: SWARM-DocReader
Disallow: /

Une règle Disallow plus ciblée fonctionne aussi. Les règles pour User-agent: * s’appliquent à lui lorsqu’aucun groupe ne le nomme.

Questions

S’il se comporte mal sur votre site, prévenez-nous en indiquant l’heure et le chemin demandé.