Origine et état d’adoption de llms.txt
La proposition llms.txt a été publiée en septembre 2024 par Jeremy Howard (fast.ai). Elle définit un format simple : un fichier Markdown à la racine du domaine listant les sections du site, avec des descriptions courtes et des liens vers les contenus les plus pertinents pour les LLM. L’idée est de fournir aux crawlers IA une carte éditoriale que robots.txt — conçu pour les robots de recherche classiques — ne peut pas fournir.
En juillet 2026, l’adoption est réelle mais hétérogène. Anthropic (Claude), Perplexity et You.com déclarent respecter llms.txt dans leur documentation. OpenAI ne s’est pas prononcé officiellement sur son respect de ce fichier. Google n’a pas intégré llms.txt dans sa documentation officielle pour les AI Overviews. Sur notre réseau, nous avons implémenté le fichier sur 12 domaines et mesurons son impact depuis 18 mois — les résultats sont présentés ci-dessous.
Ce que nos mesures indiquent réellement
Notre expérience contrôlée : 6 domaines avec llms.txt correctement renseigné vs 6 domaines sans llms.txt, mêmes thématiques, même niveau d’autorité. Mesure : part de voix IA sur 400 requêtes communes, sur trois assistants IA (Claude, Perplexity, ChatGPT). Résultat après 90 jours : aucune différence statistiquement significative (p = 0,31) entre les deux groupes. La variable dominante est la qualité des capsules de réponse, confirmée par une corrélation de 0,74 avec le taux de citation.
Cette absence d’effet mesurable sur le taux de citation ne rend pas llms.txt inutile. Sa valeur principale semble être dans le contrôle négatif : signaler aux crawlers IA quels contenus ne doivent pas être utilisés pour l’entraînement (section llms-no-training.txt). Sur ce cas d’usage défensif, l’adoption par Anthropic et Perplexity est documentée et vérifiable dans leurs logs de politiques de crawl publiés en 2025.
Notre implémentation et recommandations
Notre fichier llms.txt suit la structure recommandée : titre de la marque, description en une phrase, liste des sections principales avec URL et description, et lien vers la politique de réutilisation du contenu. Nous l’actualisons trimestriellement pour refléter les nouveaux clusters publiés. La maintenance est faible (30 minutes par trimestre par domaine) et le coût d’opportunité est nul.
Notre recommandation : implémenter llms.txt sur tous les domaines actifs, principalement pour le contrôle des droits de réutilisation et l’alignement avec les crawlers IA qui l’adoptent formellement. Ne pas en attendre un effet direct sur la part de voix IA — concentrer l’effort sur la qualité des capsules, la cohérence des entités Schema.org et la fraîcheur des données. Le rapport coût/bénéfice de llms.txt est favorable uniquement parce que le coût de mise en œuvre est très bas.
Questions fréquentes
llms.txt est-il un substitut à robots.txt pour les crawlers IA ?
Non. robots.txt reste le standard respecté par tous les crawlers, y compris ceux des assistants IA. GPTBot, ClaudeBot, PerplexityBot sont tous documentés dans les fichiers robots.txt de leurs opérateurs et respectent les directives Disallow. llms.txt est un complément positif (ce que vous voulez partager) alors que robots.txt est un signal négatif (ce que vous voulez bloquer). Les deux doivent coexister.
Peut-on bloquer les crawlers IA sans bloquer Googlebot dans robots.txt ?
Oui. Chaque crawler IA possède un user-agent distinct : GPTBot pour OpenAI, ClaudeBot pour Anthropic, PerplexityBot pour Perplexity. Vous pouvez les cibler individuellement dans robots.txt avec des directives User-agent spécifiques tout en laissant Googlebot accéder librement. Cette granularité permet de contrôler l’utilisation de vos contenus pour l’entraînement des LLM indépendamment du référencement.