llms.txt: зачем нужен файл для нейросетей и как его составить

Идея файла вырастает из простой проблемы: веб-страница устроена для человека, а не для модели. Меню, футеры, баннеры, cookie-уведомления, JavaScript-виджеты - всё это шум, который модель вынуждена парсить, чтобы добраться до контента. Плюс окно контекста ограничено: каждой «порцией» страницы нужно распорядиться с умом. Идея llms.txt в том, чтобы отдать модели чистый, структурированный файл: краткое описание проекта и список самых ценных страниц - готовое мини-оглавление без мусора.

Формат сознательно сделан на markdown: этот язык одновременно читаем человеком и «роден» для LLM - заголовки задают иерархию, ссылки дают точки входа, аннотации экономят контекст. Файл кладется в корень домена (/llms.txt), и его можно открыть в браузере как обычную страницу.

Важно сразу расставить роли файлов сайта, чтобы llms.txt не приписывали чужие функции. robots.txt - управление доступом: кому из роботов можно сканировать сайт и что запрещено. sitemap.xml - инвентаризация: полный список страниц для поисковых роботов. llms.txt - приоритезация: рекомендация, что из контента стоит читать модели в первую очередь. Три файла не конкурируют: первый отвечает на «можно ли», второй - на «что есть», третий - на «что важно».

И одна оговорка, которую стоит усвоить с самого начала: llms.txt - это конвенция без гарантий. Ни один из крупных поставщиков моделей не обязался читать такие файлы, а позиция Google прямо отрицательная. Ценность файла - в сценариях, где он действительно работает, и в том, что он ничего не ломает. Разбор обеих сторон - в разделах 5 и 6.

Прежде чем идти в историю формата, зафиксируем ожидания. llms.txt не гарантирует ничего: ни цитирования, ни упоминаний, ни трафика. Его честная роль - снизить трение там, где модель или AI-инструмент все-таки обратится к сайту структурированно: документационные боты, агентские фреймворки, RAG-пайплайны корпоративных систем, которые используют файлы-указатели как источник маршрутов. Именно в этом «служебном» качестве файл и проектировался - как разметка смысловых приоритетов, а не как волшебную кнопку видимости. Заказчику полезно держать этот масштаб в голове с первой строки: решение «делать или нет» стоит принимать в ценах часа работы, а не в ожиданиях новой жизни сайта в ответах ChatGPT.

Контекст принятия важен и для российского рынка. Российские сайты принимали формат с тем же расколом: агентства и IT-проекты завели файлы раньше, корпоративный сегмент - позже или не заводил вовсе. При этом российская специфика добавляет в расчет локальные модели: GigaChat и Алиса AI опираются на собственные индексы и экосистемы, и никаких заявлений о чтении llms.txt от их разработчиков также не публиковалось. Для компаний внутри страны это означает, что файл стоит делать по тем же «независимым от платформ» соображениям: дешево, не мешает, может пригодиться агентным системам - но не как канал попадания в ответы российских нейросетей.

Формат появился на фоне взрывного роста «ИИ-трафика»: в 2024 году стало ясно, что доля визитов с LLM-платформ растет, а сайты продолжают оптимизироваться только под людей и классических ботов. 3 сентября 2024 года Джереми Ховард - сооснователь Answer.AI, известный исследователь и соавтор курса fast.ai - опубликовал предложение: добавить в корень сайта /llms.txt с краткой информацией о сайте и ссылками на markdown-версии ключевых документов.

Логика предложения опиралась на реальный технический барьер: у моделей ограничено окно контекста, и «чистый» указатель позволяет эффективнее его использовать. Ховард подчеркнул, что llms.txt - не замена SEO, а отдельный слой для растущей аудитории AI-инструментов. Спецификация выложена открыто в GitHub, к формату присоединились платформы документаций - Mintlify, GitBook и другие, - которые начали генерировать файлы автоматически для всех проектов.

К 2026 году сложилась интересная картина принятия. В сегменте разработчиков и SaaS-документаций файл стал нормой де-факто: платформы генерируют его по умолчанию, техническая аудитория проверяет эти файлы руками. На общем фоне интернета доля скромнее: около 10% доменов по большой выборке SE Ranking, до 28% в технически активных сегментах по Ahrefs. Крупные сайты принимают формат реже средних - корпорации консервативны, а доказательной базы пользы пока недостаточно.

Параллельно формат получил главного скептика - Google. Публичные заявления представителя поиска обнулили ожидания «быстрого стандарта»: llms.txt не используется ни поиском Google, ни - по заявлению Мюллера - AI-системами в целом. Раскол «энтузиасты против скептиков» сохранился до сих пор: файл продолжает распространяться в технических нишах, но не стал универсальным стандартом. Понимание этой истории защищает от обеих крайностей: и от «файл обязателен для всех», и от «файл бесполезен совсем».

Заметьте, что происходит с ролью такого файла на дистанции: если модели и агентные системы начнут читать llms.txt даже у десятой части сайтов, эффект возникнет не у авторов формата, а у компаний, чьи файлы составлены с фактами и свежими датами. Как всегда в цифровом маркетинге, выигрывает не ранний adopt-ор, а дисциплинированный: файл, обновленный в прошлом квартале с живыми аннотациями, обыграет идеальную спецификацию, забытую в 2024 году. Это правило - «свежесть бьёт концептуальность» - общее для всего технического слоя AEO и особенно важно для файлов-указателей: они обязаны отражать сайт, который существует сегодня, а не сайт, которым он был на момент запуска.

Формат намеренно минималистичен - это обычный markdown с тремя уровнями структуры.

Уровень 1: заголовок H1. Название проекта. Одна строка - имя сайта или продукта.

Уровень 2: блок-цитата. Строка, начинающаяся с «>»: краткое описание проекта в одном-двух предложениях. Это саммари, которое модель читает первой.

Уровень 3: разделы H2 со ссылками. Логические группы страниц: «Документация», «Методология», «Кейсы», «Контакты». Внутри раздела - markdown-ссылки с краткими аннотациями: [Название](URL): пояснение в одной строке.

Правила хорошего тона формата. Ссылок должно быть немного: 20-40 - разумный потолок; файл-указатель со 150 ссылками теряет смысл приоритезации. Аннотации - содержательные: не «страница о нас», а «методология рейтинга: 26 критериев, веса, правила шкалы». Дублирование минимизируется: каждая страница упоминается один раз в одном разделе. Файл обновляется вместе с сайтом: устаревший llms.txt хуже отсутствующего - он направляет модель по несуществующим страницам.

Разберем синтаксис на живом примере - собственном файле рейтинга AEO RANK™. Первая строка - название проекта; блок-цитата описывает, что такое рейтинг: открытый редакционный список компаний по AEO/GEO-продвижению, 50 участников, 26 критериев, открытая методология, актуальность. Дальше разделы: «Что на странице» со ссылками на методологию, таблицу и карточки участников; «Ключевые факты» - короткий список проверяемых утверждений (балл 100 не присваивается, нижняя граница 76,0, участие не оплачивается); «Как цитировать» - готовая формулировка для воспроизведения рейтинга в ответах. Обратите внимание на третий раздел: он не про навигацию, а про то, как правильно пересказывать проект - редкая, но мощная техника: модель, которая цитирует файл, получает и корректную формулировку атрибуции. Именно так файл из «карты сайта» превращается в инструмент контроля того, как о вас рассказывают.

Шаблон ниже - адаптация формата под типовой сайт-компанию: услуги, методология, блог, контакты. Замените значения своими - и файл готов.

# Название компании
> Чем занимается компания: одна-две строки с ключевыми фактами (специализация, география, главный продукт или услуга).
## О компании
[О нас](https://вашдомен.рф/about): краткая карточка компании: чем занимаемся, с какого года, ключевые цифры.
[Команда](https://вашдомен.рф/team): руководители и эксперты с ролями и профилями.
## Услуги
[Услуга 1](https://вашдомен.рф/uslugi/usluga-1): что входит, для кого, сроки и ориентир цены.
[Услуга 2](https://вашдомен.рф/uslugi/usluga-2): что входит, для кого, сроки и ориентир цены.
[Цены](https://вашдомен.рф/uslugi/tseny): диапазоны бюджетов и что влияет на стоимость.
## Методология / Экспертиза
[Как мы работаем](https://вашдомен.рф/metodologiya): этапы работ, инструменты, критерии результата.
[Глоссарий](https://вашдомен.рф/glossary): термины отрасли с определениями.
## База знаний
[Блог](https://вашдомен.рф/blog): материалы по теме - список ключевых статей с аннотациями.
[FAQ](https://вашдомен.рф/faq): частые вопросы клиентов с ответами.
## Контакты
[Контакты](https://вашдомен.рф/contacts): адрес, телефон, почта, часы работы.

Три замечания к шаблону. Аннотации со смыслом: каждая строка-пояснение должна содержать факт, а не повторять название ссылки. Цифры в аннотациях работают лучше слов: «26 критериев, 50 участников» информативнее, чем «полная методология». Раздел «База знаний» - тот, ради которого файл и делается: именно туда ведут ссылки на статьи, которые должны цитироваться моделями.

Шаблон адаптируется под тип сайта, и вариации важнее, чем кажется. Интернет-магазин добавляет раздел категорий с аннотациями «что внутри и для кого» - каталог из тысяч страниц модель без указателя не осилит. Сервисному бизнесу важнее «Цены» и «Как мы работаем»: именно по этим страницам строятся коммерческие промпты. Медиа и контентные проекты выделяют раздел лучших материалов с датами обновления - свежесть в аннотации помогает модели предпочесть вас устаревшим пересказам. B2B-компаниям стоит добавить «Документы» (сертификации, реквизиты, регламенты) - корпоративные закупщики спрашивают ассистентов именно о них. В каждом случае принцип тот же: указатель повторяет коммерческие приоритеты сайта, а не его структуру ради структуры.

Отдельный вопрос - безопасность файла. llms.txt публичен по определению, и в него не стоит включать внутренние системы, закрытые разделы, unpublished-материалы и личные данные сотрудников: указатель для моделей - это витрина, а не карта склада. Правило то же, что и для любых публичных документов: в файл попадает только то, что вы готовы увидеть процитированным в ответе модели. Проверьте также длину URL в ссылках и отсутствие параметров сессии - указатель с «грязными» адресами выглядит небрежно и ломается чаще.

Отдельный вопрос - безопасность файла. llms.txt публичен по определению, и в него не стоит включать внутренние системы, закрытые разделы и личные данные сотрудников: указатель для моделей - это витрина, а не карта склада. Правило то же, что и для любых публичных документов: в файл попадает только то, что вы готовы увидеть процитированным в ответе модели. Проверьте также длину URL в ссылках и отсутствие параметров сессии - указатель с «грязными» адресами выглядит небрежно и ломается чаще.

Из таблицы видно главное: llms.txt не заменяет ничего - он четвертый слой, а не альтернатива. Если у сайта нет robots.txt с разрешенными AI-ботами, llms.txt бесполезен: нечего приоритезировать, к контенту нет доступа. Если нет sitemap - поисковики хуже индексируют сайт, и разговор о моделях преждевременен. Порядок внедрения технического слоя всегда один: robots.txt - sitemap - разметка - llms.txt.

Полезно также понимать, кто на практике потребляет такие файлы сегодня - это снимает часть иллюзий. Основные читатели llms.txt сейчас - не «ChatGPT вообще», а узкие сценарии: агентные фреймворки и RAG-пайплайны, которые используют файлы-указатели как маршруты по документациям; AI-IDE и инструменты разработчиков, читающие документации целиком; исследователи и аналитики, которые вручную проверяют структуру чужих сайтов. Это аудитория «тонкого хвоста» - немногочисленная, но влиятельная: именно она формирует инструменты завтрашнего дня. Поэтому ставка на файл - это ставка на инфраструктуру агентных систем, которая строится прямо сейчас, а не на сегодняшние ответы чат-ботов.

Врезка для практиков: как связать llms.txt с работами по контенту, не потратив ни одного лишнего рубля. Каждый URL из файла должен вести на страницу, которая уже оптимизирована под извлечение: прямой ответ в первых предложениях, факты с цифрами, разметка. Если ссылка файла попадает на «сырую» страницу - уберите её до доработки: указатель на слабый контент работает против вас, показывая модели невыполненные обещания аннотации. Так файл выполняет еще одну функцию - аудиторскую: он обнажает разрыв между тем, что вы считаете важным, и тем, что на сайте реально готово к цитированию.

Самая честная часть статьи - разбор реальной ценности. Собираем обе стороны.

Где llms.txt оправдан. Документации и API: платформы вроде Mintlify генерируют файлы автоматически, и техническая аудитория (включая AI-инструменты разработчиков) реально их потребляет - здесь формат живет своей жизнью. Контентные проекты с большой структурой: база знаний на сотни страниц выигрывает от чистого указателя. Сайты с сильным экспертным контентом: файл дает модели короткий маршрут к лучшим материалам - и даже если только часть моделей его читает, потенциальный эффект оправдывает час работы.

Где файл избыточен. Лендинги на 10-20 страниц: модель прочитает сайт целиком - приоритезировать нечего. Сайты без контентной стратегии: если «главное» всё равно не написано под извлечение фактов, указатель ведет в пустоту. Сайты, где технический слой не готов: llms.txt при закрытых AI-ботах - вежливая записка на двери закрытого магазина.

Где ожидания завышены. Прямое попадание в ответы ChatGPT «через llms.txt» - маркетинг, а не технология: крупных моделей, подтвердивших чтение таких файлов, нет, а позиция Google прямо отрицательная. Исследование Ahrefs с 97% файлов без единого запроса - самое честное напоминание: сам по себе файл ничего не делает. Работает не файл - работает сочетание: открытые боты, качественный контент, разметка, упоминания - и файл как вишенка на этой конструкции.

Практический вердикт: делайте файл, если у сайта большая структура и вы уже закрыли базу (роботы, sitemap, разметка). Не делайте его приоритетом и не платите за него как за «GEO-услугу» - его стоимость должна быть в пределах часа работы, не больше.

Справедливости ради - и аргументы в пользу файла, которые не отменяет даже скепсис Google. Первый: цена ошибки минимальна. Час работы против потенциального выигрыша - одна из лучших пропорций в digital; даже если файл читает один процент моделей, расчет можно делать позитивным. Второй: конвенции выигрывают неожиданно. Спецификация без статуса стандарта сегодня может стать интерфейсом агентных систем завтра: когда покупки начнут делать ИИ-агенты, файлы-указатели - естественный для них формат маршрутизации, и ранние adopt-оры окажутся готовы. Третий: внутренняя ценность. Составление файла дисциплинирует редакцию: чтобы написать «20 главных страниц с фактами», нужно впервые за долгое время честно решить, что на сайте вообще главное. Эта работа окупается даже без единого бота.

Если файл размещен, его стоит поставить под наблюдение - тем же способом, что и остальные технические артефакты. В логах сервера заводится сегмент запросов к /llms.txt: какие боты читают файл, как часто, с каких IP. Через квартал у вас будет собственный ответ на вопрос «читает ли наш файл кто-нибудь вообще» - точнее любого отраслевого исследования, потому что собранный на вашем домене. Если запросов ноль - файл работает как «страховка» и внутренняя дисциплина; если читается - стоит поддерживать его в идеальной свежести: устаревший читаемый файл вреднее отсутствующего, он направляет машины по несуществующим маршрутам.

Отдельного комментария заслуживает позиция самого рейтинга. AEO RANK™ использует собственный llms.txt - по шаблону, который разобран выше, - но не относит наличие файла к критериям оценки подрядчиков: разница между «сделать дешевое» и «оценить дорогое» должна отражаться и в методологии. Файл у агентства - хороший знак культуры; его отсутствие - не минус; а вот закрытые AI-боты при продаваемой услуге «продвижение в нейросетях» - прямой диссонанс, который мы фиксировали при квалификации участников. Проверка собственного сайта остается самым дешевым тестом любого продавца дисциплины.

Главная идея таблицы: llms.txt - это редакторская работа, а не техническая. Файл полезен ровно настолько, насколько его составитель понимает, что на сайте действительно важно. Поэтому лучший результат дают файлы, написанные маркетологом или редактором, а не автогенератором «всего подряд».

Разберем интерпретацию двух крайних цифр исследований - потому что вокруг llms.txt их склонны читать в обе стороны. «Файл есть лишь у 10% сайтов» сторонники читают как аргумент «успей раньше всех», скептики - как «рынок не поверил». «97% файлов не читаются» первые называют «ранней стадией», вторые - «приговором». Истина, как обычно, посередине: файл - дешевая ставка на сценарий, который может случиться, и почти ничего не стоит, если не случится. Но именно эта двусмысленность делает формат излюбленным инструментом продавцов магии: любую цифру легко вырвать в пользу нужного тезиса. Решение принимается не чужими интерпретациями, а вашими данными: поставьте файл под мониторинг логов - и через квартал у вас будет личный ответ вместо чужих трактовок.

Прежде чем идти по шагам, определитесь с форматом обновления - это определяет всю дальнейшую поддержку. Ручной вариант: файл редактируется вместе с сайтом, раз в квартал, силами маркетолога; подходит небольшим командам и не требует разработчика. Автоматический: llms.txt генерируется из структуры сайта (CMS-плагины, генераторы статических сайтов, платформы документаций); подходит большим проектам, но требует контроля качества аннотаций - автогенерация без редактуры дает ровно тот «свальный список», от которого предостерегает таблица выше. Гибрид - ручной каркас с автоматическим списком статей блога - закрывает большинство сценариев: дисциплина структуры плюс свежесть перечня без ручной работы.

1. Составьте короткий список важнейших страниц сайта: 20-40 URL с приоритетом на методологию, услуги, лучшие статьи блога, FAQ, контакты.
2. Напишите блок-цитату: чем занимается компания, для кого, ключевая цифра. Два предложения максимум.
3. Сгруппируйте ссылки в 4-6 разделов: «О компании», «Услуги», «Методология», «База знаний», «Контакты».
4. К каждой ссылке напишите аннотацию с фактом: цифры, условия, сроки - не названия.
5. Сохраните файл как llms.txt и разместите в корне домена: https://вашдомен.рф/llms.txt.
6. Проверьте открытие в браузере и валидность markdown: заголовки рендерятся, ссылки открываются.
7. Закройте файл от индексации поисковиками: noindex или запрет в robots.txt - служебный документ не должен появляться в выдаче.
8. Заведите правило пересмотра: файл обновляется при крупных изменениях структуры сайта - раз в квартал достаточно.

Пункт 7 - не опечатка: рекомендация закрыть llms.txt от индексации исходит от самого Google - файл не должен конкурировать с контентными страницами в выдаче. Пункт 1 можно упростить, если у сайта есть карта разделов - берите за основу её, отбирая самое ценное.

К восьми шагам - два добровольных расширения для тех, кто хочет выжать из формата больше. Первое: markdown-версии ключевых страниц. Спецификация предполагает, что ссылки ведут на «LLM-friendly» версии документов - страницы без навигации и скриптов; для блога это легко сделать отдельным шаблоном. Второе: связка с чек-листом готовности - файл перечисляет «главное», но модели должны найти на этих страницах размеченные факты: FAQPage в FAQ, Organization на «О нас», Article в блоге. Файл без разметки на целевых страницах - указатель на необорудованные залы.

Отдельная рекомендация для многосайтовых компаний и холдингов: если у вас несколько доменов, заведите единый стандарт файла на всю группу - общий шаблон, правила аннотаций и график пересмотра. Разнобой «у одного сайта файл есть, у второго устарел, у третьего нет» заметен снаружи и вредит восприятию зрелости группы так же, как несогласованные данные о компании в каталогах. Централизованный шаблон из раздела 4 + локальные списки страниц - оптимальная схема: стандарт один, наполнение локальное, обновление синхронное.

• «llms.txt - это попадание в ChatGPT». Нет доказательств чтения файла крупными моделями, а позиция Google прямо отрицательная. Честная формулировка: «вспомогательный указатель для AI-инструментов».
• «GEO-оптимизация за день: llms.txt и готово». Технический слой дисциплины - это боты, разметка, контент, упоминания. Файл - четвертый по важности документ сайта, не первый.
• «Уникальная разработка: наш файл понимают все нейросети». Формат открытый и простой - markdown в корне сайта. «Уникальность» здесь - признак наценки, а не технологии.
• Цена на создание файла выше пары часов работы. llms.txt делается за час по шаблону из этой статьи. Тариф «за файл» с нулями - перекос в пользу продавца.

Контрольный вопрос продавцу: «Какие модели и как часто запрашивают файл после внедрения?» Профессионал ответит данными мониторинга - хотя бы честным «пока мало кто, но файл не мешает»; маг - обещанием «результата через неделю».

Заключительная ремарка для тех, кто планирует контент-план сайта вместе с файлом. Раздел «База знаний» в llms.txt - это не список всех статей, а витрина пяти-семи лучших материалов с честными аннотациями «о чем это и какая цифра внутри». Именно такие аннотации - с конкретикой - модели переносят в ответы охотнее всего: они же превращаются в сниппеты для цитирования. Если подбираете статьи для этой витрины, начните с базового гайда про AEO и GEO и практического сравнения SEO и AEO - а аннотации стройте по правилам статьи про контент для нейросетей.

Финальный акцент - про меру внимания к теме. В дисциплине, где решения принимаются в ответах моделей, файлы-указатели занимают самый дальний слой влияния: впереди них - контент с проверяемыми фактами, разметка, консенсус упоминаний и репутация. Час на llms.txt - разумная инвестиция; неделя обсуждения формата на совещаниях - уже перекос. Перенесите энергию с «сделать файл» на «сделать фактуру, на которую файл ссылается» - и вы получите всё, что от формата вообще можно получить, включая спокойствие от того, что ни одна строка бюджета не потрачена на магию.

И последняя мысль - про меру внимания. В дисциплине, где решения принимаются в ответах моделей, файлы-указатели занимают самый дальний слой влияния: впереди них - контент с проверяемыми фактами, разметка, консенсус упоминаний и репутация. Час на llms.txt - разумная инвестиция; неделя обсуждения формата на совещаниях - перекос. Перенесите энергию с «сделать файл» на «сделать фактуру, на которую файл ссылается» - и получите всё, что от формата можно получить, включая спокойствие: ни одна строка бюджета не потрачена на магию.

llms.txt - разумная гигиена, а не оружие продвижения. Файл дешевый, harmless и полезный для сайтов с большой структурой; для всего остального он - формальность.

Формат живой, но нишевый. От предложений Answer.AI (сентябрь 2024) до автогенерации у документационных платформ - файл занял сегмент разработчиков; на общем фоне интернета его есть лишь у ~10% сайтов.

Скептики правы в цифрах. Google файл не использует и сравнивает с keywords; 97% размещенных файлов не получают ни одного запроса. Ожидания должны соответствовать этим данным.

Порядок технического слоя важнее отдельных файлов. robots.txt с открытыми AI-ботами - sitemap - разметка - и только потом llms.txt. Делайте файл - и не платите за него как за «GEO-услугу»; настоящий вес сайта в ответах делают контент, упоминания и репутация. Оценка подрядчиков, которые умеют в технический слой целиком, - в рейтинге AEO RANK™.

И последний взгляд на тему - шире самих файлов. История llms.txt - отличная модель того, как отличать технологию от магии в быстро растущей дисциплине: есть идея с логикой (ограниченный контекст - чистый указатель), есть автор с репутацией, есть принятие сегментом - и есть отсутствие доказательств эффекта на уровне крупных платформ. Зрелый заказчик не выбирает между «принять всё» и «отвергнуть всё»: он делает дешевое - потому что недорого и не мешает, требует доказательств для дорогого - потому что бюджет один, и следит за данными, чтобы вовремя пересмотреть картину. Этот же алгоритм применим к каждой новой «обязательной» технологии, которую вам продадут в следующем квартале.