Кто ходит по вашему сайту — и кого вы впускаете
Боты Яндекса для Нейро, GPTBot, ClaudeBot, PerplexityBot и ещё два десятка. Как отличить, что они берут, как разрешить полезных и остановить вредных. Не «закрыть всё» — впускать осознанно.
Одна дверь. Вы решаете, кому открыть.
Сканер и aid2c.ru учат сайт открыть дверь агентам. Этот сайт — контролировать её.
Проверить сайт
Читаем robots.txt и llms.txt, показываем таблицу «какой бот что может» и три замечания.
Запустить →
Справочник ботов
Имя, владелец, назначение, как отличить подделку, слушается ли robots.txt, дата проверки.
Смотреть →
Настроить правила
Выбираете, кому разрешить и кому запретить — получаете готовый robots.txt, llms.txt и nginx.
Собрать →Что ваш сайт разрешает агентам прямо сейчас
Серверный запрос к robots.txt и llms.txt, разбор по токенам из справочника. Ничего не исполняем, ничего не храним.
Список гостей: кто приходит и зачем
Каждая карточка — с датой проверки и ссылкой на документацию оператора. Открытый фид /data/bots.json. Поиск · 11, агенты · 5, обучение · 8.
| Бот | Владелец | Назначение | robots.txt | Как отличить | Проверено |
|---|---|---|---|---|---|
| GPTBot | OpenAI | обучение | да | список адресов | 19.10.2026 |
| OAI-SearchBot | OpenAI | поиск | да | список адресов | 19.10.2026 |
| ClaudeBot | Anthropic | обучение | да | только строка UA | 19.10.2026 |
| Perplexity-User | Perplexity | агент | нет | список адресов | 19.10.2026 |
| YandexAdditional токен | Яндекс | поиск | да | обратный DNS | 19.10.2026 |
| Bytespider | ByteDance | обучение | неизвестно | только строка UA | 19.10.2026 |
Пропуск выписывается здесь
Переключатели — на вашей стороне, в браузере. Результат — текст с кнопкой «Копировать». На сервер ничего не уходит.
# robots.txt · закрыть обучение
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
User-agent: Applebot-Extended
Disallow: /
User-agent: *
Allow: /Коротко о главном
Если запретить GPTBot, сайт пропадёт из поиска ChatGPT?
Нет. Поиск ChatGPT использует отдельного бота OAI-SearchBot, и сайты, закрытые от него, не показываются в поисковых ответах. GPTBot отвечает только за сбор данных для обучения. Это два независимых переключателя — у Anthropic, Google и Apple устроено так же.
Можно ли верить строке User-Agent?
Нет, её подделывают. У OpenAI, Perplexity, Mistral, Bing и Common Crawl есть опубликованные списки адресов; у Яндекса, Google, Apple и Amazon подлинность проверяется обратным DNS в два шага. У Anthropic, Mail.ru и ByteDance способа проверки нет — в карточках это отмечено.
Как закрыть сайт от ответов Нейро, не уходя из поиска Яндекса?
Отдельным блоком в robots.txt для токена YandexAdditional. Он не делает индексирующих запросов и действует на страницы, уже собранные основным роботом: сайт остаётся в выдаче, но его текст не пересказывается в ответах «Поиска с Нейро».
Нужно ли закрывать сайт от всех ИИ-ботов?
Нет, и этот сайт этого не советует. Запрет для User-agent: * закрывает и агентов по запросу пользователя, которые приводят покупателей, и поисковых ботов. Разумная политика — разрешить поиск и агентов, а обучение моделей решить отдельно: для СМИ и авторов запрет оправдан, для магазина и справочника — чаще нет.
Почему сайт про контроль ботов сам открыт ботам?
Потому что позиция сети — впускать осознанно. Этот сайт отдаёт llms.txt, AGENTS.md, OpenAPI и открытый фид bots.json, его robots.txt разрешает поисковых ботов и агентов. Что именно разрешено — написано в политике доступа.