La réponse courte : Google documente Googlebot (recherche), Storebot-Google (Shopping), Google-InspectionTool et Google-CloudVertexBot (aucun effet sur la recherche), GoogleOther et ses variantes (robot générique), Google-Extended (simple jeton de contrôle sans crawl propre) ; et une requête Google se vérifie par DNS croisé ou par les listes d'IP publiées, pas par le nom du robot seul.
Vous filtrez vos logs serveur avec une liste de user-agents Google trouvée sur un blog, et vous prenez des décisions dessus. Problème : la liste officielle a changé de visage, et chaque ligne ne gouverne pas la même surface. J'ai relu les deux pages officielles dans leur HTML, le 18 novembre 2026.
Le tableau que la documentation officielle permet de dresser
#| User-agent ou jeton | Chaîne HTTP | Token robots.txt | Ce que ça affecte |
|---|---|---|---|
| Googlebot | compatible; Googlebot/2.1; +http://www.google.com/bot.html | Googlebot | Google Search, Discover, Images, News, vidéos |
| Googlebot-News | aucune chaîne HTTP distincte documentée | Googlebot | flux d'actualités ; passe par les chaînes de Googlebot |
| Storebot-Google | « Storebot-Google/1.0 » en desktop et mobile | Storebot-Google | toutes les surfaces Google Shopping |
| Google-InspectionTool | chaîne dédiée | Google-InspectionTool | outils de test uniquement ; « It has no effect on Google Search or other products » |
| GoogleOther | chaîne dédiée | GoogleOther | « GoogleOther is the generic crawler that may be used by various » équipes Google, sans produit spécifique |
| GoogleOther-Image, GoogleOther-Video | variantes dédiées | idem | fetch de contenus images et vidéo, sans produit spécifique |
| Google-CloudVertexBot | sous-chaîne dédiée | Google-CloudVertexBot | demandes d'agents Vertex AI ; sans effet sur Search |
| Google-Extended | aucun user-agent séparé | Google-Extended | contrôle d'usage des données pour l'entraînement, pas un crawl |
Deux pièges de lecture. Googlebot-News n'a pas de chaîne HTTP à filtrer dans vos logs : filtrer « Googlebot-News » revient à ne rien filtrer. Et Google-Extended ne « vient » pas sur votre serveur : la page officielle est nette, « Google-Extended doesn't have a separate HTTP request user agent string » ; le jeton robots.txt sert à dire si ce qui est déjà crawlé peut nourrir l'entraînement des modèles Gemini. Le bloquer ne change pas votre visibilité : « does not impact a site's inclusion in Google Search ».
Vérifier une requête : deux méthodes, pas le nom du bot
#La page de vérification de Google pose le cadre : « There are two methods for verifying requests from Google ». Méthode manuelle : « Run a reverse DNS lookup on the accessing IP address » depuis vos logs, vérifier que le nom résolu appartient à googlebot.com, google.com ou googleusercontent.com, puis refaire le DNS avant dans l'autre sens pour retrouver l'IP d'origine. Un user-agent ment très bien ; une concordance DNS en direct beaucoup moins.
Méthode automatique : matcher les IP contre les listes publiées par Google, dont les fichiers JSON officiels comme user-triggered-agents.json. C'est la voie à suivre quand on traite des gigaoctets de logs, et elle se combine bien avec le croisement logs serveur et Crawl Stats détaillé ailleurs sur ce pilier. Pour la part de crawl que Google consacre à votre site, le crawl budget se pilote avec ces mêmes logs proprement filtrés.
Ce que la liste ne dit pas (et que les blogs disent quand même)
#Les tutoriels qui circulent ajoutent des noms : Google Favicon, FeedFetcher, Mediapartner. La page officielle relue ce jour ne les liste pas comme user-agents de crawl ; la documentation a été resserrée sur les robots qui comptent pour un site. Méfiance symétrique sur l'entraînement : Google y écrit vouloir soutenir le signal AIPREF, au futur, « Google intends to support the AIPREF » ; ce n'est pas une norme en vigueur, c'est une direction annoncée.
Le réflexe de tri côté robots IA est traité à part, avec la même logique de preuve : vérifier un crawler IA par ses ranges IP pour GPTBot et consorts, et RFC 9309 pour ce que robots.txt impose réellement. La crawlabilité et l'indexation forment le socle sur lequel tous ces filtres se lisent.
FAQ
#Faut-il bloquer Google-Extended dans robots.txt ?
#Ce choix ne relève pas du référencement : le jeton ne contrôle aucun crawl, seulement l'utilisation des contenus déjà crawlés pour entraîner les modèles Gemini. La documentation officielle indique qu'il n'affecte ni l'inclusion dans la recherche ni le classement. La décision est stratégique, pas SEO.
Pas en lisant le user-agent : n'importe qui peut l'usurper. La méthode officielle est le DNS croisé : lookup inverse de l'IP, contrôle du domaine (googlebot.com, google.com, googleusercontent.com), puis lookup avant du nom obtenu pour vérifier qu'il redonne l'IP d'origine. À l'échelle, on automatise avec les listes d'IP publiées.
GoogleOther et Googlebot, même chose ?
#Non. Googlebot porte l'index de la recherche ; GoogleOther est le robot générique utilisé par diverses équipes pour des fetch ponctuels, sans produit spécifique affecté. Bannir GoogleOther ne coupe pas la recherche, mais peut couper des usages moins visibles (recherche interne, experiments, fetch vidéo et image via les variantes).
Pourquoi mon analyse de logs sous-estime-t-elle Google ?
#Parce que vous filtrez un seul nom. Googlebot a deux chaînes (desktop et smartphone), Storebot-Google deux aussi, et Googlebot-News aucune propre. Un filtre strict « Googlebot » ignore Shopping, une partie des outils de test et tout le trafic GoogleOther.
Sources
#- Google's common crawlers, Google for Developers (nouvelle fenêtre), consulté le 18 novembre 2026
- Verify Requests from Google Crawlers and Fetchers, Google for Developers (nouvelle fenêtre), consulté le 18 novembre 2026






Comment savoir si une requête « Googlebot » est légitime ?
#