Segmentation et fichier index
Google et Bing acceptent des sitemaps de 50 000 URLs maximum et 50 Mo non compressés. Nous restons sous 1 000 URLs par fichier pour des raisons de lisibilité et de gestion d’erreurs : un fichier de 1 000 URLs erronées est plus facile à identifier qu’un fichier de 50 000. Le fichier index (sitemap-index.xml) liste les références vers tous les fichiers segmentés.
La segmentation suit la hiérarchie du contenu : un fichier par cluster (moteur, stratégie, méthode, international), puis des fichiers numérotés pour les pages locales (sitemap-local-01.xml, sitemap-local-02.xml, etc.). Cette structure facilite la soumission ciblée via l’API Search Console quand seul un cluster est mis à jour.
Calcul du lastmod à partir du hash de contenu
Le lastmod n’est pas la date de build. C’est la date à laquelle le contenu généré a changé pour la dernière fois. Le pipeline calcule le SHA-256 du rendu HTML de chaque page (hors éléments dynamiques : timestamp de build, numéro de version) et le compare au hash stocké lors du build précédent. Si les hashs diffèrent, le lastmod est mis à jour à la date du build courant.
Ce mécanisme évite d’envoyer aux crawlers des lastmod qui changent à chaque build sans modification réelle du contenu, ce qui dégraderait la confiance des moteurs dans nos sitemaps. Un lastmod fiable améliore l’efficacité du budget de crawl : Googlebot peut prioriser les URLs réellement mises à jour.
Soumission et monitoring via Search Console
Les sitemaps sont soumis via l’API Search Console après chaque build de production. L’API retourne un statut de traitement que nous stockons et comparons au nombre d’URLs soumises. Un écart supérieur à 5 % entre URLs soumises et URLs ’discovered’ dans Search Console déclenche une alerte.
Le monitoring hebdomadaire vérifie également que les sitemaps sont accessibles (code HTTP 200, Content-Type text/xml) et que le fichier index est syntaxiquement valide. Ces vérifications sont effectuées depuis un serveur externe pour s’assurer qu’elles reflètent l’expérience d’un crawler et non d’un accès interne.
Questions fréquentes
Faut-il inclure les pages en noindex dans le sitemap ?
Non. Une page en noindex dans le sitemap crée une incohérence que les crawlers signalent dans Search Console. Notre pipeline exclut automatiquement du sitemap toute page dont le méta-robots contient noindex.
Quelle est la fréquence de régénération des sitemaps ?
Les sitemaps sont régénérés à chaque build de production (hebdomadaire). Entre les builds, si une page est dépubliée en urgence, le sitemap correspondant est régénéré et resoumis via l’API dans les 30 minutes suivant la dépublication.