Robots.txt
Le fichier robots.txt, placé à la racine du domaine, indique aux robots d’exploration les zones du site qui leur sont ouvertes ou fermées. Il gouverne l’exploration, pas l’indexation — la nuance a son importance.
Dans la pratique
Interdire l’exploration d’une URL n’empêche pas son indexation si des liens y pointent : pour exclure une page des résultats, c’est noindex qu’il faut. Depuis 2023, le fichier sert aussi à réguler les collecteurs d’IA — GPTBot, ClaudeBot et consorts — que chacun choisit d’accueillir ou non selon sa stratégie de visibilité dans les assistants.