# Listar - robots.txt
# https://listar.fr

User-agent: *
Allow: /

# Sitemaps
Sitemap: https://listar.fr/sitemap.xml

# Pas de Crawl-delay : Google l'ignore, mais Bing, Yandex et les crawlers IA le
# respectent et se limitent alors a 1 requete/seconde. L'exploration est deja la
# contrainte dominante du site (~159 requetes/jour tous crawlers confondus, dont
# 1387 URLs jamais explorees) : brider les crawlers n'a aucune contrepartie, et
# l'origine est un S3 derriere CloudFront, qui ne peut pas etre sature.

# Autoriser les bots IA pour le GEO
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Amazonbot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: cohere-ai
Allow: /