Googlebot, GoogleOther, Google-Extended, Storebot : ce que fait chaque user-agent officiel, et comment vérifier une requête de Google en deux temps.

Les robots de Google dans vos logs : la liste officielle

Par Lucas M. · Relu par la rédaction Référencement Internet Web

5 min de lecture
Lien copié dans le presse-papiers
Lucas M.

La réponse courte : Google documente Googlebot (recherche), Storebot-Google (Shopping), Google-InspectionTool et Google-CloudVertexBot (aucun effet sur la recherche), GoogleOther et ses variantes (robot générique), Google-Extended (simple jeton de contrôle sans crawl propre) ; et une requête Google se vérifie par DNS croisé ou par les listes d'IP publiées, pas par le nom du robot seul.

Vous filtrez vos logs serveur avec une liste de user-agents Google trouvée sur un blog, et vous prenez des décisions dessus. Problème : la liste officielle a changé de visage, et chaque ligne ne gouverne pas la même surface. J'ai relu les deux pages officielles dans leur HTML, le 18 novembre 2026.

Le tableau que la documentation officielle permet de dresser

#
Le tableau que la documentation officielle permet de dresser
User-agent ou jetonChaîne HTTPToken robots.txtCe que ça affecte
Googlebotcompatible; Googlebot/2.1; +http://www.google.com/bot.htmlGooglebotGoogle Search, Discover, Images, News, vidéos
Googlebot-Newsaucune chaîne HTTP distincte documentéeGooglebotflux d'actualités ; passe par les chaînes de Googlebot
Storebot-Google« Storebot-Google/1.0 » en desktop et mobileStorebot-Googletoutes les surfaces Google Shopping
Google-InspectionToolchaîne dédiéeGoogle-InspectionTooloutils de test uniquement ; « It has no effect on Google Search or other products »
GoogleOtherchaîne dédiéeGoogleOther« GoogleOther is the generic crawler that may be used by various » équipes Google, sans produit spécifique
GoogleOther-Image, GoogleOther-Videovariantes dédiéesidemfetch de contenus images et vidéo, sans produit spécifique
Google-CloudVertexBotsous-chaîne dédiéeGoogle-CloudVertexBotdemandes d'agents Vertex AI ; sans effet sur Search
Google-Extendedaucun user-agent séparéGoogle-Extendedcontrôle d'usage des données pour l'entraînement, pas un crawl

Deux pièges de lecture. Googlebot-News n'a pas de chaîne HTTP à filtrer dans vos logs : filtrer « Googlebot-News » revient à ne rien filtrer. Et Google-Extended ne « vient » pas sur votre serveur : la page officielle est nette, « Google-Extended doesn't have a separate HTTP request user agent string » ; le jeton robots.txt sert à dire si ce qui est déjà crawlé peut nourrir l'entraînement des modèles Gemini. Le bloquer ne change pas votre visibilité : « does not impact a site's inclusion in Google Search ».

Vérifier une requête : deux méthodes, pas le nom du bot

#

La page de vérification de Google pose le cadre : « There are two methods for verifying requests from Google ». Méthode manuelle : « Run a reverse DNS lookup on the accessing IP address » depuis vos logs, vérifier que le nom résolu appartient à googlebot.com, google.com ou googleusercontent.com, puis refaire le DNS avant dans l'autre sens pour retrouver l'IP d'origine. Un user-agent ment très bien ; une concordance DNS en direct beaucoup moins.

Méthode automatique : matcher les IP contre les listes publiées par Google, dont les fichiers JSON officiels comme user-triggered-agents.json. C'est la voie à suivre quand on traite des gigaoctets de logs, et elle se combine bien avec le croisement logs serveur et Crawl Stats détaillé ailleurs sur ce pilier. Pour la part de crawl que Google consacre à votre site, le crawl budget se pilote avec ces mêmes logs proprement filtrés.

Ce que la liste ne dit pas (et que les blogs disent quand même)

#

Les tutoriels qui circulent ajoutent des noms : Google Favicon, FeedFetcher, Mediapartner. La page officielle relue ce jour ne les liste pas comme user-agents de crawl ; la documentation a été resserrée sur les robots qui comptent pour un site. Méfiance symétrique sur l'entraînement : Google y écrit vouloir soutenir le signal AIPREF, au futur, « Google intends to support the AIPREF » ; ce n'est pas une norme en vigueur, c'est une direction annoncée.

Le réflexe de tri côté robots IA est traité à part, avec la même logique de preuve : vérifier un crawler IA par ses ranges IP pour GPTBot et consorts, et RFC 9309 pour ce que robots.txt impose réellement. La crawlabilité et l'indexation forment le socle sur lequel tous ces filtres se lisent.

FAQ

#

Faut-il bloquer Google-Extended dans robots.txt ?

#

Ce choix ne relève pas du référencement : le jeton ne contrôle aucun crawl, seulement l'utilisation des contenus déjà crawlés pour entraîner les modèles Gemini. La documentation officielle indique qu'il n'affecte ni l'inclusion dans la recherche ni le classement. La décision est stratégique, pas SEO.

Comment savoir si une requête « Googlebot » est légitime ?

#

Pas en lisant le user-agent : n'importe qui peut l'usurper. La méthode officielle est le DNS croisé : lookup inverse de l'IP, contrôle du domaine (googlebot.com, google.com, googleusercontent.com), puis lookup avant du nom obtenu pour vérifier qu'il redonne l'IP d'origine. À l'échelle, on automatise avec les listes d'IP publiées.

GoogleOther et Googlebot, même chose ?

#

Non. Googlebot porte l'index de la recherche ; GoogleOther est le robot générique utilisé par diverses équipes pour des fetch ponctuels, sans produit spécifique affecté. Bannir GoogleOther ne coupe pas la recherche, mais peut couper des usages moins visibles (recherche interne, experiments, fetch vidéo et image via les variantes).

Pourquoi mon analyse de logs sous-estime-t-elle Google ?

#

Parce que vous filtrez un seul nom. Googlebot a deux chaînes (desktop et smartphone), Storebot-Google deux aussi, et Googlebot-News aucune propre. Un filtre strict « Googlebot » ignore Shopping, une partie des outils de test et tout le trafic GoogleOther.

Sources

#
Lien copié dans le presse-papiers

À lire aussi