User-agent: *
Sitemap: https://1aviator.com/sitemap.xml
Host: 1aviator.com

# ======== 🔒 ЗАЩИТА ОТ БОТОВ ======== #
Disallow: /bitrix/               # Закрыть системные папки (CMS)
Disallow: /actions/              # Закрыть промо-страницы
Disallow: /go/                   # Закрыть редиректы
Disallow: /az/go/                # Закрыть редиректы для /az/
Disallow: /*?*                   # Блокировать URL с параметрами (фильтры, сессии)
Disallow: /*?utm_                # Блокировать URL с UTM-метками (чтобы не дублировались)
Disallow: /*print=               # Блокировать версии для печати
Disallow: /*register=            # Закрыть формы регистрации
Disallow: /*auth=                # Закрыть авторизацию
Disallow: /*back_url=            # Закрыть служебные редиректы
Disallow: /private/              # Пример: если есть закрытые разделы
Disallow: /tmp/                  # Временные файлы
Disallow: /search/               # Поиск (если не нужен в индексе)

# ======== ✅ РАЗРЕШЕНИЯ ДЛЯ ПОИСКОВИКОВ ======== #
Allow: /bitrix/js/               # Разрешить JS (важно для рендеринга)
Allow: /bitrix/templates/        # Разрешить шаблоны (если нужны)
Allow: /news/                    # Разрешить новости (индексировать)
Allow: /az/                      # Разрешить AZ-версию (если это региональный контент)
Allow: /*.css$                   # Разрешить CSS (для корректного отображения)
Allow: /*.js$                    # Разрешить JavaScript (для индексации AJAX)
Allow: /*.png$                   # Разрешить изображения (улучшает SEO)
Allow: /*.jpg$                   # Разрешить изображения
Allow: /*.webp$                  # Современный формат изображений

# ======== 🚀 УСКОРЕНИЕ ИНДЕКСАЦИИ ======== #
# Явно указываем главные разделы для индексации
Allow: /strategiya-stavok-v-igru-aviator-spribe/  
Allow: /az/1win-aviator-spribe           # Если страница важна
Allow: /az/1xbet-crush-igra-aviator-spribe  

# ======== 🛡️ БЛОКИРОВКА ВРЕДОНОСНЫХ БОТОВ ======== #
User-agent: MJ12bot               # Бот-парсер (часто нагружает сервер)
Disallow: /  

User-agent: AhrefsBot             # Бот Ahrefs (крадет данные)
Disallow: /  

User-agent: SemrushBot            # Бот Semrush (может нагружать)
Disallow: /  

User-agent: DotBot                # Агрессивный парсер
Disallow: /  

User-agent: MegaIndex.ru          # Агрессивный бот
Disallow: /  

# ======== 🔎 СПЕЦИАЛЬНЫЕ ПРАВИЛА ДЛЯ GOOGLE & YANDEX ======== #
User-agent: Googlebot
Allow: /*.css$
Allow: /*.js$
Disallow: /bitrix/
Disallow: /private/
Crawl-delay: 2                    # Замедлить Googlebot (если сервер слабый)

User-agent: YandexBot
Allow: /news/
Allow: /az/
Disallow: /go/
Disallow: /*?*
Crawl-delay: 3                    # Яндекс иногда агрессивно сканирует
Clean-param: utm_source&ref      # Удаляет UTM-метки из индекса (чтобы не было дублей)