User-agent: * Allow: / Disallow: /api/ Disallow: /admin/ # Crawl-delay pour éviter de surcharger le serveur Crawl-delay: 1 # Crawlers IA génératives (GEO) — explicitement autorisés, aucune restriction # Ils reçoivent une page pré-rendue avec le contenu complet de l'article. User-agent: GPTBot Allow: / User-agent: ChatGPT-User Allow: / User-agent: OAI-SearchBot Allow: / User-agent: ClaudeBot Allow: / User-agent: Claude-Web Allow: / User-agent: anthropic-ai Allow: / User-agent: PerplexityBot Allow: / User-agent: Perplexity-User Allow: / User-agent: Google-Extended Allow: / User-agent: CCBot Allow: / User-agent: Amazonbot Allow: / User-agent: Applebot-Extended Allow: / # Sitemaps. L'index couvre les trois sous-fichiers (pages, categories, # articles) : les declarer separement en plus etait redondant, et # sitemap-articles.xml se retrouvait annonce deux fois. # Les sous-fichiers sont declares ici parce que Search Console n'en connaissait # que deux sur quatre, sitemap-pages.xml et sitemap-categories.xml n'ayant # jamais ete soumis. Une declaration dans robots.txt suffit a les faire # decouvrir. Sitemap: https://irisproject.cloud/sitemap.xml Sitemap: https://irisproject.cloud/sitemap-pages.xml Sitemap: https://irisproject.cloud/sitemap-categories.xml Sitemap: https://irisproject.cloud/sitemap-articles.xml