Robots.txt
Il file robots.txt, collocato nella radice del dominio, indica ai robot di scansione quali aree del sito sono aperte o chiuse per loro. Regola la scansione, non l'indicizzazione — una distinzione che conta più di quanto molti presumano.
In pratica
Bloccare un URL alla scansione non ne impedisce l'indicizzazione se dei link puntano a esso. Per rimuovere una pagina dai risultati, la direttiva corretta è noindex. Dal 2023 il file regola anche i raccoglitori di dati per l'IA — GPTBot, ClaudeBot e altri — che ogni proprietario di sito può ammettere o escludere in base alla propria strategia di visibilità sull'IA.