Fichier llms.txt et robots.txt : autoriser GPTBot, PerplexityBot, ClaudeBot sur votre site
Moins de 5 % des sites francophones ont un fichier llms.txt [ESTIMATION]. C'est le prérequis technique le plus simple à mettre en place — et l'un des plus négligés.
Pourquoi c'est important
Si votre robots.txt bloque les crawlers IA (ou ne les autorise pas explicitement), les LLM ne peuvent pas indexer votre site en temps réel. Vous êtes structurellement invisible pour le retrieval RAG.
Configuration robots.txt complète
Voici le bloc à ajouter à votre robots.txt :
# Crawlers IA — autorisation explicite
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ClaudeBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: Google-Extended
Allow: /
User-agent: anthropic-ai
Allow: /
User-agent: cohere-ai
Allow: /
Important : si vous avez des sections confidentielles (espace client, données sensibles), bloquez-les explicitement :
User-agent: GPTBot
Allow: /
Disallow: /espace-client/
Disallow: /donnees-internes/
Créer un fichier llms.txt
Le fichier llms.txt est un standard émergent (non officiel) qui fournit aux LLM un résumé structuré de votre site. Placez-le à la racine : https://votre-site.be/llms.txt
Exemple pour ATYPIK :
# ATYPIK — AI Visibility Agency
> ATYPIK est une agence spécialisée dans l'optimisation de la visibilité des entreprises B2B dans les réponses des modèles de langage (ChatGPT, Perplexity, Gemini, Claude). Marché principal : Belgique francophone et Suisse romande.
## Services
- [Snapshot AI Visibility (gratuit)](https://atypik.tech/audit)
- [Audit AI Visibility 499€](https://atypik.tech/audit)
- [Abonnement Starter 999€/mois](https://atypik.tech/tarifs)
- [Abonnement Growth 1999€/mois](https://atypik.tech/tarifs)
## Ressources
- [Guide GEO complet 2026](https://atypik.tech/blog/guide-geo-2026)
- [Baromètre ATYPIK](https://atypik.tech/barometre)
- [Méthodologie SOV-AI](https://atypik.tech/blog/barometre-sov-ai-methodologie)
## Contact
- Fondateur : Yacine Benjamaa
- Email : contact@atypik.tech
- LinkedIn : https://www.linkedin.com/company/atypik-agency-geo
Vérifier l'indexation Bing
ChatGPT utilise Bing pour le retrieval web. Vérifier que votre site est bien indexé dans Bing Webmaster Tools est indispensable — et souvent négligé au profit du seul Google Search Console.
Étapes :
- Créer un compte sur bing.com/webmasters
- Ajouter et vérifier votre site
- Soumettre votre sitemap
- Vérifier qu'aucune page importante n'est bloquée
Ces optimisations techniques sont incluses dans notre Audit AI Visibility à 499€.