Какие именно боты и как должны быть прописаны в robots.txt?
Ответ за 30 секунд справа → ниже полный разбор редакции, связанные вопросы и статьи блога по теме.
Автор раздела - Дмитрий Руднев, редакционная комиссия «Про рейтинг». Срез рынка и рейтинга - 26.09.2026.
Минимально: не запрещать поисковые и AI-краулеры на публичных разделах. В файле достаточно общего разрешения и явных директив для ключевых ботов, чтобы случайная правка не закрыла сайт целиком. Проверять нужно после каждого изменения robots.txt, а не раз в год.
Полный ответ редакции
robots.txt - служебный файл в корне сайта, который сообщает ботам правила обхода. Ошибка в нём может незаметно закрыть весь сайт, поэтому правила оформляются явно, а не «по умолчанию».
- Откройте публичные разделы общим правилом: разрешение для всех агентов и указание карты сайта.
- Пропишите явные блоки для ботов, по которым приходят ИИ-системы: GPTBot и ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, боты Яндекса.
- Закройте то, что не предназначено посетителям: личные кабинеты, поиск, фильтры, тестовые и административные разделы.
- Проверьте результат: откройте файл в браузере и убедитесь, что публичные страницы доступны, а служебные закрыты.
- Убедитесь, что карта сайта актуальна: она влияет на скорость обнаружения новых страниц, а не только на индексацию.
Периодичность проверки - при любом изменении сайта и хотя бы раз в квартал. Отдельно стоит держать под рукой список закрытых путей: если вы добавляете маркетинговые лендинги или новый раздел с материалами, они не должны попадать в запретные директивы по инерции. Обратная ситуация тоже встречается: старый запрет на служебные боты остаётся в файле годами, хотя раздел давно удалён. Единственный надёжный способ не ошибиться - проходить файл глазами и проверять по одной директиве, а не доверять тому, что «раньше работало».
Как это выглядит на практике
Магазин запчастей обнаружил, что в robots.txt годами оставалось правило, закрывающее каталог для «всех агентов, кроме Яндекса и Google». Его добавили когда-то для защиты от парсеров цен. Для поисковиков всё работало, а AI-краулеры видели только главную страницу. Правило переписали: разрешили нужных ботов явно и оставили запрет только для служебных разделов.
Как вносить изменения безопасно
- Сохраните текущую версию файла перед правкой.
- Меняйте одно правило за раз и записывайте, зачем оно добавлено.
- После публикации проверьте живую версию файла по адресу сайта: кеш иногда отдаёт старую.
- Проверьте файл валидатором в панели вебмастера.
- Через несколько дней посмотрите в логах, появились ли визиты нужных ботов.
Типичная ошибка
Хранить robots.txt в системе управления сайтом без контроля версий. После обновления CMS или переезда файл иногда перезаписывается стандартным, и все настройки пропадают. Держите копию и проверяйте файл после каждого крупного обновления.
Если у вас несколько поддоменов
У каждого поддомена свой robots.txt. Правило на основном домене не действует на блог или магазин, размещённые на поддоменах. Проверьте файл на каждом из них отдельно: закрытый поддомен с каталогом - частая причина того, что основной сайт в ответах есть, а товары нет.
Ответы раздела носят справочный характер и отражают состояние рынка и методику AEO RANK на 26.09.2026. Это не консультация, не оферта и не гарантия результата; упоминания подрядчиков обезличены. Автор раздела - Дмитрий Руднев, про-рейтинг.рф.
Раздел «Вопросы и ответы» носит справочно-информационный характер. Ответы описывают состояние рынка AEO/GEO-продвижения и методику рейтинга AEO RANK по состоянию на 26.09.2026, подготовлены редакционной командой про-рейтинг.рф, автор раздела - Дмитрий Руднев (редакционная комиссия, направление «Аналитика»). Материалы не являются юридической, финансовой, медицинской или иной профессиональной консультацией, публичной офертой, рекламой или сертификацией. Упоминания подрядчиков даются обезличенно и отражают публичную информацию о рынке: они не являются рекомендацией конкретной компании и не подтверждают её услуг. Ответы генеративных моделей недетерминированы - ни один подрядчик, включая участников рейтинга, не может гарантировать конкретное место или упоминание в ответе нейросети. Приведённые цены, сроки и показатели видимости - ориентиры по открытым данным на 26.09.2026, а не обязательство; актуальные условия уточняйте у исполнителя. Ответы не заменяют самостоятельную проверку подрядчика, собственный замер видимости и юридическую оценку договора.