AI-краулеры: как открыть сайт для GPTBot, ClaudeBot и PerplexityBot

Классический поисковый робот - Googlebot или YandexBot - делает одну работу: строит индекс для ранжирования. Он приходит регулярно, кэширует страницы, оценивает ссылки - и его работа видна в поиске, которым пользуются миллиарды людей. AI-краулеры выросли из этой же технологии, но у них другой работодатель и другие цели: им нужен не индекс ссылок, а контент для моделей и для ответов.

По назначению AI-боты делятся на две группы, и это главное различие, которое нужно понимать владельцу сайта. Боты обучения - GPTBot у OpenAI, ClaudeBot у Anthropic - собирают тексты, на которых обучаются и дообучаются модели. Их работа влияет на «врожденные» знания модели: что она отвечает, даже когда не ищет в интернете. Боты ответов и поиска - OAI-SearchBot, Claude-SearchBot, PerplexityBot - строят индекс для поисковых ответов в реальном времени: их работа определяет, какой сайт модель процитирует пользователю сегодня. Отдельно ходят пользовательские боты - ChatGPT-User, Claude-User: они открывают страницы по запросу конкретного человека прямо в моменте.

Почему различие принципиально: у групп разные правила игры и разные последствия блокировки. Боты обучения закрывают медиа и крупные контентные бизнесы, защищающие инвестиции в контент. Боты ответов закрывают редко - это прямое исчезновение из поиска будущего. Пользовательские боты закрывать почти никогда не нужно: они ходят под живого клиента, и блокировка выглядит как отказ в обслуживании.

Вторая особенность AI-краулеров - они агрессивнее поисковых. Нагрузка на слабые хостинги от ботов обучения достигает десятков тысяч запросов в день, и владельцы дешевого хостинга нередко блокируют их, просто чтобы сайт не лежал. Это решение понятно, но решать его нужно настройками лимитов, а не полным запретом: под запретом скрывается и будущая видимость.

Отсюда же - правило приоритетов для владельца с ограниченным бюджетом: доступ ботов дешевле всех остальных работ и влияет на все остальные. Контент, написанный «под ответы», разметка, граф сущностей, упоминания - всё это работает только при открытых ботах; на закрытом сайте любая из этих работ - оплата стрельбы из незаряженного ружья. Поэтому в любой методике AEO технический слой стоит первым: не потому, что он самый важный в абстрактном смысле, а потому, что он - условие для всего остального. Один рабочий день технической настройки меняет картину сильнее, чем месяц контентных работ на закрытом сайте.

Отдельного пояснения заслуживает временной масштаб двух групп. Боты обучения влияют на модель «с отсрочкой»: собранные сегодня тексты отразятся в поведении модели лишь после очередного цикла дообучения - недели и месяцы. Боты ответов работают «сегодня»: исключили сайт из их индекса - и уже на этой неделе Perplexity не может вас процитировать. Для владельца это означает разную логику решений: правки доступа к ботам ответов - операционная задача с немедленным эффектом, а решения об обучении - стратегическая ставка на то, как модель будет «врожденно» знать ваш контент через год. Уровень доступа из таблицы ниже стоит выбирать именно с этой развилки - сначала операционная видимость, потом стратегическое обучение.

Собираем действующих игроков в таблицу. Список меняется - новые боты появляются ежеквартально, - но ядро стабильно.

Три примечания к каталогу. Первое: списки ботов у каждой компании обновляются - например, у OpenAI появились и рекламные боты, и новые роли; раз в квартал сверяйтесь с официальной документацией. Второе: YandexBot - поисковый робот, но для российской дисциплины он критичен: без него нет ни классической выдачи, ни нейроответов Яндекса. Третье: CCBot (Common Crawl) - не AI-бот, а общий корпус данных, из которого берут данные многие модели; блокировка CCBot закрывает путь в целый слой баз данных.

Планируя ревизию, стоит понимать и цену бездействия, и цену ошибки в каждой из трех колонок этой развилки. Бездействие стоит дешевле всего в деньгах - и дороже всего в последствиях: сайт продолжает молча выпадать из ответов, пока конкурент по нише не займет освободившееся место. Ошибка «открыть всё подряд» стоит небольшой приватный риск: контент пойдет и на обучение, и на индексацию, и на пользовательские сессии - для большинства бизнесов это приемлемая плата. Ошибка «закрыть всё подряд» стоит дороже всего: месяцами невидимости и восстановлением, которое после снятия запрета происходит не мгновенно - ботам нужно время вернуться, переиндексировать и «поверить» сайту снова. Иерархия цены решений однозначная: бездействие - скрытая, «открыть всё» - дешевая, «закрыть всё» - самая дорогая. Это и есть ось, по которой стоит принимать решение, пока вы дочитываете разделы ниже.

Перед любыми правками - ревизия. Три шага, которые занимают меньше часа даже у неспециалиста.

Шаг 1. Посмотрите robots.txt. Откройте в браузере адрес вашдомен.рф/robots.txt. Ищите строки User-agent с именами ботов: GPTBot, ClaudeBot, PerplexityBot, CCBot, Google-Extended. Ключевое слово - Disallow: с адресом «/» - полный запрет для этого бота. Если бот не упомянут вообще, на него распространяются правила группы User-agent: * (разрешено всё, если нет запретов).

Шаг 2. Проверьте ответ сервера для ботов. Часть сайтов запрещает ботов не в robots.txt, а на уровне сервера: код ответа 403 для неизвестных user agent, анти-бот фильтры, WAF-правила. Проверка делается инструментом вроде curl с подстановкой user agent бота - или специализированными сервисами, которые показывают, как боты видят сайт. Сервер может вернуть 200, а может - капчу, 403 или 429: всё, кроме 200, для бота означает «дорога закрыта».

Шаг 3. Посмотрите логи за месяц. В логах сервера (access.log) найдите строки с user agent ботов. Кто реально приходит, с какой частотой, на какие страницы - это картина фактического доступа. Если боты в логах отсутствуют полностью, а в robots.txt их нет - они блокируются на уровне хостинга или файрвола: разберитесь с настройками до любых контентных работ.

Результат диагностики укладывается в три диагноза: «открыт полностью» (боты приходят, запретов нет), «закрыт частично» (часть ботов запрещена в robots.txt или сервером), «закрыт полностью» (никто не приходит). Каждому диагнозу - свое лечение из следующего раздела.

Чем проверить, если логов под рукой нет: специализированные сервисы проверки ботов показывают, как ваш сервер отвечает на запросы с user agent конкретного краулера, - по сути автоматизируют шаги 1-2. Полезно также проверить сайт глазами модели: попросите ChatGPT или Perplexity процитировать конкретную страницу вашего сайта со ссылкой. Если модель отвечает «не могу открыть» - путь закрыт; если цитирует - доступ работает. Это, конечно, не замер, а быстрый дым-тест, но он бесплатен и доступен каждому владельцу прямо сейчас.

Небольшая ремарка к шагу 2 для владельцев на популярных CMS: в WordPress, Bitrix и Tilda доступ ботов дополнительно фильтруют плагины безопасности и встроенные антиботы - их логи живут отдельно от серверных. Если сервер отвечает 200, а модель сайт всё равно не цитирует, - просмотрите настройки плагинов: правило «блок-бота» может сидеть там, куда владельцы заглядывают реже всего. И помните: после каждой правки проверяйте файл валидатором - опечатка в имени бота делает правило мёртвым, а иллюзия защиты или разрешения держится ровно до первого реального теста.

Синтаксис robots.txt прост: файл в корне сайта, группы правил по типам ботов. Ниже - три готовых сценария под разные решения.

Сценарий А: открыть всё (для сайтов услуг, e-commerce, экспертных компаний).

User-agent: *
Allow: /

User-agent: GPTBot
Allow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Google-Extended
Allow: /

Sitemap: https://вашдомен.рф/sitemap.xml

Сценарий Б: поиск разрешен, обучение запрещено (для контентных и медиа-бизнесов).

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

Sitemap: https://вашдомен.рф/sitemap.xml

Сценарий В: полный запрет (для закрытых систем и приватных данных).

User-agent: *
Disallow: /

Два технических предупреждения к сценариям. Первое: robots.txt - это просьба, а не замок. Добросовестные боты выполняют правила, нарушители - нет: полная защита достигается только на уровне файрвола. Второе: после правки проверьте, что Googlebot и YandexBot не затронуты - опечатка в блоке бота легко превращается в катастрофу всей поисковой видимости. Инструменты проверки robots.txt есть в консолях вебмастеров обоих поисковиков.

К файлу robots.txt стоит добавить и llms.txt - файл-указатель для языковых моделей с ключевыми разделами и фактами о компании. Полный разбор формата с шаблоном - в статье llms.txt: зачем нужен файл для нейросетей.

Частые ошибки синтаксиса, которые встречаются даже в продакшене: запрет без имени группы (Disallow вне User-agent - правило игнорируется), опечатки в имени бота (GPTbot вместо GPTBot - другой токен), правила в кодировке с BOM, конфликтующие группы для одного бота (обе группы читаются, применяется самая длинная). Все четыре ошибки диагностируются за минуты любым онлайн-валидатором robots.txt - прогоняйте файл через проверку после каждой правки, а не только «когда-нибудь».

«Открыть или закрыть» - ложный вопрос: решений три, и у каждого свой хозяин. Сводим в таблицу.

На что смотреть при выборе уровня. Первое - что вы продаете: если деньги приносят услуги или товары, а контент лишь поддерживает продажи, открытый доступ почти всегда выгоднее. Если деньги - сам контент (подписки, платные материалы, уникальные методики), частичный или полный запрет может быть экономически рационален. Второе - размер бренда: новым брендам обучение важно больше, чем крупным, - модели должны узнать о вас хоть откуда-то. Третье - юрисдикция аудитории: для российского бизнеса критичны Яндекс (поиск + нейроответы) и GigaChat, для международного - вся тройка OpenAI/Anthropic/Google.

Показательная статистика против бессистемной блокировки: крупные издатели, закрывшие AI-ботов, потеряли около 23% общего трафика - часть решений пользователей ушла в экосистему ответов, откуда их уже не вернешь классическим SEO. Блокировка - легитимный инструмент, но инструмент с ценником, и платить нужно осознанно.

Отдельная линия в этой таблице - российский контекст. Для бизнеса внутри страны ключевые роботы - YandexBot (поиск + нейроответы с Алисой) и боты, через которые контент добирается до GigaChat. Закрывать их - значит вычеркивать сайт из самого массового поискового сценария страны; открывать - стандартная практика. Для компаний с международной аудиторией карта шире: вся тройка OpenAI/Anthropic/Google плюс Apple-экосистема. Двойная аудитория - двойной список разрешений; в этом случае полезно завести в протоколе сайта два столбца - «РФ-боты» и «мировые боты» - и ревизовать их раздельно: обновления идут в разных ритмах.

Самая дорогая строка таблицы - первая. Мы видели сайты, которые годами носили запрет «User-agent: * / Disallow: /» внутри подкаталогов, унаследованный от старой CMS, и не подозревали об этом: для нейросетей этот контент не существовал, хотя SEO-показатели были приличными. Ревизия - полчаса работы; экономия на ней - месяцыinvisible-ности.

Один штрих к таблице: правки robots.txt и файрвола стоит вносить в тот же календарь, что и контентные работы. Технический слой живёт своей жизнью: хостинг обновляет правила безопасности, CDN меняет дефолты, разработчик переносит сайт на новый сервер - и «внезапно» пропавшая видимость в ответах оказывается «внезапной» только для тех, кто не вёл календарь инфраструктурных изменений. Пара строк в журнале правок экономят неделю диагностики по горячим следам.

Отдельного решения заслуживает и «серая зона» - сервисы ИИ-резюме и бот-пауки агрегаторов, которые не входят в официальные каталоги, но сканируют контент. Практичный подход: вести в протоколе сайта три списка - «разрешено явно», «разрешено по умолчанию», «запрещено» - и при появлении нового бота решать по назначению: если это бот ответов растущего поисковика, разрешение обычно выгоднее запрета, если неизвестный скрапер - лимит частоты. Раз в квартал эту зону стоит пересматривать: пейзаж ботов меняется быстрее, чем любые регламенты.

Идеальная картинка «написал robots.txt - и все честно выполняют» не всегда соответствует реальности. Четыре камня на пути.

Камень первый: stealth-краулеры. Cloudflare расследовала случай, когда Perplexity, по выводам компании, обходила запреты недекларированными ботами с подменой user agent и сменой сетей. Нарушения фиксируются и у других игроков. Вывод для владельца: robots.txt управляет добросовестными ботами; для остальных нужен WAF, мониторинг логов и знание официальных IP-диапазонов ботов, которые публикуют сами компании.

Камень второй: старые унаследованные правила. Часть запретов появляется не из решений, а из истории: шаблон хостинга, правила безопасности пятилетней давности, советы «закрой всё от ботов» в старых гайдах. Аудит robots.txt и файрвола - это археология, и её стоит делать до любых работ по продвижению.

Камень третий: CDN и защита от DDoS. Сервисы защиты трафика по умолчанию фильтруют «подозрительных» роботов, и AI-краулеры попадают под раздачу вместе с вредоносными. В настройках Cloudflare, WAF у хостинга и анти-DDoS провайдера ботов нужно вносить в белый список - иначе robots.txt будет разрешать то, что сервер запрещает.

Камень четвертый: нагрузка и лимиты. Активные боты обучения создают ощутимую нагрузку: для слабых хостингов - риск падения. Решения: настройки crawl-rate у поддерживающих их сервисов, кеширование страниц, переход на тариф с запасом - но не тотальный запрет: он закрывает и видимость.

Развернутая карта «готов ли сайт к AI-поиску» - с пунктами про индексацию, скорость и разметку - в статье чек-лист готовности сайта к AI-поиску.

Сводим гайд в последовательность действий - от ревизии до мониторинга.

1. Проведите ревизию текущего robots.txt: какие боты упомянуты, какие запрещены, что унаследовано от старых настроек.
2. Проверьте ответы сервера для основных AI-ботов: коды 200/403/429 по каждому user agent.
3. Изучите логи за последний месяц: кто реально приходит, с какой частотой, какие страницы запрашивает.
4. Определите уровень доступа под свою бизнес-модель: полный, только поиск, полный запрет (таблица раздела 5).
5. Внесите правила в robots.txt по выбранному сценарию - с явными группами для каждого бота.
6. Проверьте, что Googlebot и YandexBot не затронуты: тест robots.txt в консолях вебмастеров.
7. Настройте белый список ботов в файрволе, WAF и защите от DDoS - чтобы сервер не спорил с robots.txt.
8. Добавьте llms.txt - файл-указатель с ключевыми разделами сайта для языковых моделей.
9. Настройте мониторинг: сегмент бот-трафика в аналитике, алерт на коды 403 для ботов, ежемесячный осмотр логов.
10. Зафиксируйте ответственного за robots.txt и правила пересмотра - раз в квартал, с учетом новых ботов.

Пункты 8-9 требуют больше контекста - их разбор в статьях про llms.txt и про чек-лист готовности сайта. Пункт 2 стоит дополнить проверкой разметки: доступность без разметки - это «машина видит, но не понимает»; разбор - в статье про микроразметку Schema.org для AEO.

Правило финальной проверки перед публикацией правил: после правок robots.txt прогоните дым-тест из раздела 3 - запросите пару ключевых страниц вашего сайта у ChatGPT и Perplexity с просьбой процитировать источник. Если модель называет сайт и дает ссылку - доступ работает; если нет - вернитесь к шагам диагностики, не теряя дней на контентные работы, которые на закрытом сайте не видны никому. Час технической проверки в начале экономит месяцы невидимости в середине.

Два дополнения к последовательности - про то, что обычно забывают. Первое: после переноса сайта на новую платформу или смены хостинга проверьте robots.txt заново - миграции чаще всего «теряют» кастомные правила, и сайт возвращается к дефолтным настройкам, в которых AI-боты не упомянуты вовсе. Второе: если на сайте есть закрытые зоны (личные кабинеты, платные материалы, документы с NDA), убедитесь, что правила доступа заданы по каталогам и путям, а не полным запретом: частая ошибка - закрыть весь домен ради защиты одного раздела, потеряв видимость остальных сотен страниц. Точечный запрет работает лучше тотального всегда - и в robots.txt, и в файрволе.

Технический слой - отличное место для проверки квалификации подрядчика. Четыре формулировки, которые выдают слабое понимание.

• «Откроем сайт всем ботам разом, это же просто». «Все боты» - это и вредоносные скраперы, и конкуренты-парсеры. Профессионал различает типы и настраивает сценарий под бизнес-модель, а не «всё разрешить».
• «Robots.txt - это защита от копирования». Нет: это инструкция для добросовестных ботов. Защита контента - WAF, авторские права, лицензии. Путаница этих понятий - признак дилетанта.
• «Заблокируем GPTBot - и видимость в ChatGPT сохранится, они же не связаны». Связь есть на уровне данных: меньше источников обучения - слабее «врожденное» знание модели о бренде. Точную механику подрядчик должен объяснить, а не спекулировать.
• «Нужно закрыть Perplexity - они нарушают правила» (как универсальный совет). Нарушения - вопрос факта и вашей толерантности: у кого-то запрет, у кого-то приоритет - видимость в быстро растущем поиске. Универсальных советов тут не бывает.
• «llms.txt заменит robots.txt» (в любом варианте). Эти файлы решают разные задачи: robots.txt - управление доступом, llms.txt - указатель контента для моделей. Продавец, путающий назначение двух файлов, не знает технического слоя, который продает.

Проверочный вопрос подрядчику: «Какие user agent заходили на мой сайт за последний месяц и с какими кодами ответа?» Ответ без цифр означает, что технического слоя у него нет.

И короткий ответ на вопрос «а что, если оставить как есть?» Ничего не произойдет - ровно поэтому это и опасно. Закрытый сайт не получает банов, ошибок и алертов: он просто молча отсутствует в растущем слое ответов, где формируются шорт-листы ваших будущих клиентов. Тишина - единственный симптом технической невидимости; лечится она единственным способом - ревизией из раздела 3 этой статьи.

Доступ ботов - фундамент видимости. Закрытый для AI-краулеров сайт не существует для нейросетей: контент не попадет в ответы, бренд не будет назван. Технический слой дешевле любого другого - и должен проверяться первым.

Боты - это не «OpenAI вообще». GPTBot, OAI-SearchBot и ChatGPT-User - три независимых робота с разными задачами; Claude и Perplexity - аналогично. Решение «открыть/закрыть» принимается по типам ботов, а не по компаниям.

Блокировка имеет цену. Отказ от обучения - защитная мера с легитимной логикой; отказ от поисковых ботов - исчезновение из ответов; полная блокировка обошлась крупным издателям в 23% трафика. Цена должна осознаваться до решения, а не после.

robots.txt - не замок. Часть ботов нарушает правила: для них - файрвол, IP-диапазоны, мониторинг логов. А полная картина «открытости» сайта требует ревизии раз в квартал: боты появляются быстрее, чем обновляются шаблоны хостингов. Проверьте, что ваш сайт видят машины - прежде чем платить за любые другие работы по AEO; а если нужен исполнитель, который понимает технический слой, начните с открытых баллов критерия технической доступности в рейтинге AEO RANK™.

И завершающий штрих - для тех, кто дочитал до конца. Технический слой - редкая зона AEO, где результат полностью в ваших руках: не зависит от конкурентов, алгоритмов и размеров бюджета. Час ревизии, полчаса правок, ежеквартальный осмотр - вот вся «магия», за которую агентства иногда просят месячные бюджеты. Сделайте её сами - или убедитесь, что за неё не платите дважды, - и потратьте освободившиеся деньги на работы, где настоящая конкуренция: контент, упоминания, репутация. Гид по этим слоям - в последующих статьях категории «Техника и внедрение».