ClaudeBot
ClaudeBot è il crawler di Anthropic per l'addestramento dei modelli Claude; Claude-SearchBot gestisce le funzioni di ricerca. Come i loro omologhi di OpenAI, ciascuno si controlla individualmente tramite robots.txt.
In pratica
Il panorama degli agenti IA muta rapidamente; tenerlo aggiornato fa parte dell'igiene tecnica. I siti del gruppo accolgono esplicitamente questi crawler (user-agent elencati, accesso completo concesso) perché una risposta di un assistente che cita primapagina.fr è una posizione conquistata. Bloccare è legittimo per altri modelli di business; deve essere una scelta deliberata, non un valore predefinito lasciato inalterato.