SWARM-DocReader

Probablemente estás aquí porque este nombre ha aparecido en los registros de tu servidor:

SWARM-DocReader/<version> (+https://swarm-software.ai/bot/)

SWARM es una plataforma autoalojada de operaciones de TI. Se conecta a los productos a través de sus API y mantiene al día lo que sabe sobre esas API leyendo la documentación pública de cada fabricante. SWARM-DocReader es el componente que se encarga de esa lectura. Cada solicitud procede de la propia instalación de SWARM de un cliente, no de un rastreador central.

Qué solicita

  • Páginas de documentación pública de un producto con el que se integra la instalación: la referencia de la API, una descripción OpenAPI publicada, un registro de cambios, notas de la versión y avisos de obsolescencia.
  • Solo las direcciones que un administrador ha registrado para ese producto y las páginas del mismo host a las que enlazan esos documentos.
  • No sigue enlaces por todo el sitio, no indexa páginas ni recopila nada que no sea el texto del documento solicitado.

Cómo se comporta

  • Primero descarga /robots.txt y lo respeta. Si no puede obtener el archivo, no lee nada del sitio.
  • Como máximo, una solicitud por segundo a cada host.
  • Envía If-None-Match e If-Modified-Since, de modo que un documento sin cambios solo cuesta un 304.
  • No envía cookies ni credenciales, y no ejecuta scripts.

Cómo bloquearlo

Añade un grupo para él en tu robots.txt:

User-agent: SWARM-DocReader
Disallow: /

También sirve un Disallow más restringido. Las reglas para User-agent: * se le aplican cuando ningún grupo lo nombra.

Preguntas

Si se comporta de forma incorrecta en tu sitio, avísanos e indica la hora y la ruta solicitada.