# ===============================
# Robots.txt para Magento 2 - SEO otimizado
# Bloqueia bots conhecidos maliciosos (diretiva para crawlers que respeitam robots.txt)
# ===============================

# Bloquear completamente (para crawlers que respeitam robots.txt)
User-agent: Yandex
User-agent: YandexBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: AhrefsBot
User-agent: Ahrefs
Disallow: /

# Outros bots conhecidos maliciosos / de scraping (aplicar mesma regra)
User-agent: Amazonbot
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: meta-externalagent
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: SemrushBot
User-agent: dotbot
User-agent: BLEXBot
User-agent: Ezooms
User-agent: Slurp
User-agent: DuckDuckBot
User-agent: Baiduspider
Disallow: /

# ===============================
# Bots legítimos (permitir indexação)
# ===============================
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# ===============================
# Regras globais para todos os outros crawlers
# ===============================
User-agent: *
# Bloquear áreas sensíveis do Magento 2
Disallow: /app/
Disallow: /bin/
Disallow: /dev/
Disallow: /lib/
Disallow: /pkginfo/
Disallow: /report/
Disallow: /setup/
Disallow: /update/
Disallow: /var/
Disallow: /vendor/

# Bloquear paths que não agregam valor para SEO / que expõem dados ou criam carga
Disallow: /checkout/
Disallow: /customer/
Disallow: /wishlist/
Disallow: /catalogsearch/
Disallow: /admin/
Disallow: /search/
# Observação: padrões com wildcard (ex: /*?*) nem sempre são suportados por todos os crawlers.
# Se quiser bloquear URLs com query string para crawlers que suportam padrões, mantenha. Caso contrário,
# considere usar X-Robots-Tag / noindex em páginas dinâmicas.

# Permitir assets (imagens, CSS, JS)
Allow: /media/
Allow: /static/
Allow: /pub/media/
Allow: /pub/static/

# Sitemap
Sitemap: https://www.lubmix.com.br/pub/media/sitemap/sitemap.xml