Cloudflare заблокирует ИИ-ботов по умолчанию на страницах с рекламой
Реклама на странице - сигнал, что владелец сайта рассчитывал на живого человека, а не на бот, который скачает контент для обучения модели. Cloudflare решила закрепить это правило по умолчанию.
1 июля 2026 года Cloudflare объявила об изменении настроек по умолчанию для ИИ-трафика, которое вступает в силу 15 сентября 2026 года. Компания делит ботов на три категории: Search - собирает или индексирует контент, чтобы позже отвечать на вопросы о нём; Agent - автоматическое поведение, которое обычно в реальном времени действует от имени человека; Training - краулер, забирающий контент для обучения или дообучения модели. С 15 сентября 2026 года на всех новых доменах, подключаемых к Cloudflare, боты категорий Training и Agent будут заблокированы по умолчанию именно на страницах, где показывается реклама - логика такая: реклама сигнализирует, что владелец сайта рассчитывал на живого посетителя. Поисковые боты (Search) по-прежнему разрешены по умолчанию. Владелец сайта может отказаться от новых настроек по умолчанию в любой момент до 15 сентября, отметив это в настройках безопасности. Отдельно компания представила BotBase - новую базу данных, отслеживающую всех известных ботов, включая верифицированных ботов и агентов, доступную как часть Enterprise Bot Management прямо в дашборде Cloudflare.
Что объявила Cloudflare 1 июля 2026 года
Cloudflare объявила об изменении настроек по умолчанию для ИИ-трафика. Изменение вступает в силу 15 сентября 2026 года и касается всех новых доменов, подключаемых к Cloudflare.
Три категории ботов
Компания делит ботов на три категории. Search собирает или индексирует контент, чтобы позже отвечать на вопросы о нём. Agent - это автоматическое поведение, которое обычно в реальном времени действует от имени человека. Training - краулер, забирающий контент для обучения или дообучения модели.
Что заблокировано по умолчанию с 15 сентября
На всех новых доменах, подключаемых к Cloudflare, боты категорий Training и Agent будут заблокированы по умолчанию именно на страницах, где показывается реклама. Логика простая: реклама - сигнал, что владелец сайта рассчитывал на живого посетителя, а не на автоматический сбор контента. Поисковые боты категории Search по-прежнему разрешены по умолчанию.
Как отказаться от новых настроек
Владелец сайта может отказаться от новых настроек по умолчанию в любой момент до 15 сентября 2026 года, отметив это в настройках безопасности (Security settings). Это касается и мультифункциональных краулеров, совмещающих Search с Training - можно отдельно разрешить или заблокировать их обучающую составляющую.
BotBase: единая база известных ботов
Отдельно компания представила BotBase - новую базу данных, отслеживающую всех известных ботов, включая верифицированных ботов и агентов. BotBase доступна как часть Enterprise Bot Management прямо в дашборде Cloudflare и даёт подробный, доступный для поиска обзор всего каталога ботов компании.
Чек-лист
Что проверить владельцу сайта на Cloudflare до 15 сентября
Понятно, что новые настройки по умолчанию касаются новых доменов, подключаемых к Cloudflare, а не автоматически всех существующих
Проверено, какие страницы сайта показывают рекламу - именно на них применяются новые дефолты
Принято решение, нужно ли разрешить Training или Agent ботов вручную через настройки безопасности
Учтена отдельная логика для мультифункциональных краулеров, совмещающих Search и Training
Изучен BotBase в дашборде для видимости, какие именно боты обращаются к сайту
Частые вопросы
Когда Cloudflare объявила об изменении настроек для ИИ-ботов?
1 июля 2026 года, с вступлением в силу 15 сентября 2026 года.
Какие боты будут заблокированы по умолчанию?
Training и Agent - на страницах, где показывается реклама. Search остаётся разрешён по умолчанию.
На все ли домены распространяется изменение?
На все новые домены, подключаемые к Cloudflare, начиная с 15 сентября 2026 года.
Можно ли отключить новые настройки по умолчанию?
Да, в любой момент до 15 сентября 2026 года через настройки безопасности.
Что такое BotBase?
Новая база данных, отслеживающая всех известных ботов, доступная как часть Enterprise Bot Management в дашборде Cloudflare.
Почему блокировка привязана именно к страницам с рекламой?
Реклама сигнализирует, что владелец сайта рассчитывал на живого посетителя, а не на автоматический сбор контента.