User-agent: *
Allow: /

# Allow all search engines to crawl all pages
Disallow: /api/
Disallow: /_next/

# Sitemap
Sitemap: https://i18nagent.ai/sitemap.xml

# Crawl-delay to be respectful to server resources
Crawl-delay: 1

# Allow important directories
Allow: /ar/
Allow: /bg/
Allow: /ca/
Allow: /cs/
Allow: /da/
Allow: /de/
Allow: /el/
Allow: /en/
Allow: /es/
Allow: /es-419/
Allow: /es-MX/
Allow: /et/
Allow: /fi/
Allow: /fr/
Allow: /hi/
Allow: /hr/
Allow: /hu/
Allow: /id/
Allow: /is/
Allow: /it/
Allow: /ja/
Allow: /ko/
Allow: /lt/
Allow: /lv/
Allow: /ms/
Allow: /nl/
Allow: /no/
Allow: /pl/
Allow: /pt/
Allow: /pt-BR/
Allow: /ro/
Allow: /ru/
Allow: /sk/
Allow: /sl/
Allow: /sr-Cyrl/
Allow: /sr-Latn/
Allow: /sv/
Allow: /th/
Allow: /tl/
Allow: /tr/
Allow: /uk/
Allow: /vi/
Allow: /zh-Hans/
Allow: /zh-Hant-HK/
Allow: /zh-Hant-TW/
Allow: /images/
Allow: /favicon.ico