Crawler IA
Les crawlers IA collectent le web pour entraîner les modèles ou répondre en direct : GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot. Chacun se contrôle séparément dans robots.txt.
Dans la pratique
Distinction utile : les collecteurs d’entraînement construisent la mémoire des modèles ; les agents de recherche décident des citations en temps réel. Bloquer les premiers par principe se discute ; bloquer les seconds revient à sortir des réponses. L’audit des logs révèle qui passe réellement — et à quelle fréquence surprenante.