# robots.txt para CuVaRents
# Control de rastreo para motores de búsqueda

User-agent: *
Allow: /

# =========================================
# Bloquear áreas administrativas
# =========================================
Disallow: /dashboard/
Disallow: /admin/

# =========================================
# Bloquear APIs y archivos sensibles
# =========================================
Disallow: /api/
Disallow: /config/
Disallow: /src/
Disallow: /utils/

# =========================================
# Bloquear archivos específicos
# =========================================
Disallow: /*.log$
Disallow: /*.sql$
Disallow: /*.env$
Disallow: /*.ini$

# =========================================
# Evitar rastreo de URLs con parámetros
# =========================================
Disallow: /*?page=
Disallow: /*?search=
Disallow: /*&

# =========================================
# Permitir explícitamente assets importantes
# =========================================
Allow: /assets/css/
Allow: /assets/js/
Allow: /assets/img/
Allow: /uploads/

# =========================================
# Sitemap
# =========================================
Sitemap: https://cuvarents.com/sitemap.xml
Sitemap: http://localhost/cuvarents/sitemap.xml

# =========================================
# Configuración específica para bots
# =========================================

# Google
User-agent: Googlebot
Allow: /
Crawl-delay: 0

# Bing
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# Yandex
User-agent: Yandex
Allow: /
Crawl-delay: 2

# Bloquear bots maliciosos conocidos
User-agent: SemrushBot
Crawl-delay: 10

User-agent: AhrefsBot
Crawl-delay: 10

User-agent: MJ12bot
Disallow: /

User-agent: dotbot
Disallow: /