Tag
robots-txt
4 articles
Seo
Common Crawl CC-MAIN juin 2026 : le dump des LLM
Le dump Common Crawl de juin 2026 arrive : 2 milliards de pages aspirées qui finiront dans GPT, Claude et Mistral. Voilà ce qu'il faut savoir et faire.
Guillaume P.·3 juin 2026·10 min
Référencement
DeepSeek et le SEO : ce que le crawler change vraiment
DeepSeekBot crawle vos pages sans générer de trafic référent. Ce que l'absence de DeepSeek comme moteur change pour les éditeurs en 2026.
Guillaume P.·14 mai 2026·5 min
Seo
llms.txt : le standard qui voulait parler aux IA
llms.txt promettait de guider les IA vers votre contenu. Google l'a rejeté, personne ne le lit, la corrélation avec les citations LLM est nulle : verdict.
Guillaume P.·17 avr. 2026·9 min
Seo
GPTBot, ClaudeBot, Bytespider : bloquer ou autoriser ?
Explosion des crawlers IA en 2026 : impact bande passante, crawl budget, et le vrai dilemme des éditeurs. Bloquer ou autoriser ? Avec des données...
Guillaume P.·14 mars 2026·6 min