Tag
robots-txt
8 articles
Audit GEO : la checklist de citabilité IA en 2026
Grille d'audit mesurable pour la citabilité IA : robots.txt par bot, délai de 24 heures, llms.txt v2, format des passages. Cinq blocs à cocher.
aipref : le chantier IETF encore bloqué à deux catégories
aipref, le vocabulaire IETF pour dire aux IA ce qu'elles font d'un site. État au 3 septembre 2026 : deux catégories, zéro RFC, deuxième délai manqué.
RFC 9309 : ce que robots.txt impose aux crawlers IA
Lecture clause par clause du RFC 9309 : statut MUST, SHOULD ou MAY de chaque règle, et la grille norme, déclaration, mesure pour juger un crawler IA.
Vrai ou faux GPTBot ? Vérifier un crawler IA en 2026
Le user-agent d'un crawler IA se falsifie en une ligne. Plages IP, DNS inverse, fichiers JSON officiels : la procédure serveur pour vérifier.
Common Crawl CC-MAIN juin 2026 : le dump des LLM
Le dump Common Crawl de juin 2026 arrive : 2 milliards de pages aspirées qui finiront dans GPT, Claude et Mistral. Voilà ce qu'il faut savoir et faire.
DeepSeek et le SEO : ce que le crawler change vraiment
DeepSeekBot crawle vos pages sans générer de trafic référent. Ce que l'absence de DeepSeek comme moteur change pour les éditeurs en 2026.
llms.txt : le standard qui voulait parler aux IA
llms.txt promettait de guider les IA vers votre contenu. Google l'a rejeté, personne ne le lit, la corrélation avec les citations LLM est nulle : verdict.
GPTBot, ClaudeBot, Bytespider : bloquer ou autoriser ?
Explosion des crawlers IA en 2026 : impact bande passante, crawl budget, et le vrai dilemme des éditeurs. Bloquer ou autoriser ? Avec des données...