Crawler IA
I crawler IA raccolgono il web per addestrare i modelli o rispondere in tempo reale: GPTBot, ClaudeBot, PerplexityBot, Google-Extended, Applebot-Extended, CCBot. Ciascuno si controlla separatamente nel robots.txt.
In pratica
Una distinzione utile: i raccoglitori di addestramento costruiscono la memoria a lungo termine dei modelli; gli agenti di ricerca decidono le citazioni in tempo reale. Bloccare la prima categoria per principio è discutibile; bloccare la seconda equivale a rinunciare alle risposte. L'analisi dei log rivela chi visita davvero, e con una frequenza che spesso sorprende.