Google a récemment procédé à une mise à jour des chaînes User-Agent, en y intégrant des informations relatives à l’encodage des contenus. En outre, une nouvelle rubrique détaillant les caractéristiques techniques des crawlers a vu le jour. C’est principalement la page « Aperçu des crawlers » qui a subi d’importantes modifications afin d’améliorer sa lisibilité.
Google a décidé de mettre à jour sa documentation en créant trois nouvelles sections thématiques sur la page Aperçu des crawlers : les fetchers utilisateurs, les crawlers spécifiques et les crawlers standards. Grâce à une structure modulaire, ce système permet des mises à jour plus aisées. Il offre aux gestionnaires de sites une visibilité accrue sur les interactions entre les robots d’indexation (crawlers) et leurs contenus.
Cette initiative est, en fait, une réponse à une problématique fréquente : la saturation des pages de documentation. En ajoutant des sections techniques spécifiques et en structurant les données par catégories, Google optimise à la fois la clarté et la richesse de sa documentation.
Google a apporté des nouveautés
Google a par ailleurs revu certaines de ses chaînes d’identification de robot. À titre d’illustration, un nouvel identifiant a été attribué au crawler GoogleProducer. Des robots d’exploration tels que Google-InspectionTool bénéficient désormais d’une documentation plus exhaustive.
La documentation mise à jour indique que la chaîne d’agent utilisateur du robot GoogleProducer est désormais GoogleProducer/1.0. Une précision qui a été ajoutée récemment.
Ces évolutions constantes soulignent l’importance pour un salarié porté dans le secteur du référencement d’être régulièrement informé des dernières pratiques. Un professionnel qui travaille en tant que salarié porté doit non seulement maîtriser les bases du SEO, mais également s’adapter aux changements fréquents de la documentation et des outils.
Il est maintenant spécifié que les requêtes d’exploration utilisent les protocoles HTTP/1.1 et HTTP/2. Le protocole HTTP/1.1 existait déjà avant, mais la prise en charge de HTTP/2 constitue une nouveauté.
Une nouveauté notable est l’ajout d’une section dédiée aux caractéristiques techniques des robots d’indexation. Elle présente de manière exhaustive les différents types d’encodage pris en charge, notamment Brotli (br), deflate et gzip.
Cette section précise aussi comment ces derniers sont spécifiés dans l’en-tête Accept-Encoding des requêtes des robots d’indexation.
La documentation est totalement revue
Parmi les trois nouvelles pages, Fetchers activés par l’utilisateur est une section qui traite des bots mis en œuvre par l’utilisateur. Ces robots, en dépit des directives de robots.txt, sont illustrés par des cas d’usage précis.
Ensuite, il y a le crawlers à usage spécifique. Il s’agit d’une page pour des robots tels que Mediapartners-Google. Ils sont utilisés pour des services comme Google Ads. Ces crawlers, qui utilisent parfois des IP différentes, sont maintenant distincts de ceux généralistes.
En ce qui concerne les crawlers classiques, Google a regroupé les données sur ses principaux bots, tels que Googlebot et ses versions dans une page à part. Ils se conforment systématiquement aux directives du fichier robots.txt. Les informations techniques, bien que inchangées, bénéficient d’une structure plus claire.
Pour une meilleure compréhension des subtilités liées aux crawlers, il serait judicieux de consulter un salarié porté spécialisé en SEO. Ce type de professionnel, souvent indépendant, possède une expertise qui peut grandement faciliter la navigation dans ces évolutions complexes.
En segmentant la documentation en sous-pages dédiées, Google vise à faciliter l’intégration progressive d’informations techniques, sans pour autant alourdir la navigation utilisateur. Cette division est une solution directe au problème posé par l’allongement démesurée de la page d’aperçu initiale. Celle-ci entravait l’intégration de nouvelles informations.
Avant, toutes les infos sur tous les crawlers étaient mélangées sur une seule page. C’était difficile pour les utilisateurs de trouver ce qu’ils cherchaient. Aujourd’hui, tout est plus clair et mieux organisé.