{"title":"Cloudflare закручивает кран для AI-ботов","url":"https://verapointmedia.com/news/cloudflare-s-new-policy-pushes-ai-companies-to-pay-for-publishers-content/","markdownUrl":"https://verapointmedia.com/news/cloudflare-s-new-policy-pushes-ai-companies-to-pay-for-publishers-content.md","language":"ru","category":"news","publishedAt":"2026-07-02T15:22:49.000Z","updatedAt":"2026-07-02T15:22:49.000Z","references":["https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/","https://news.google.com/rss/articles/CBMiqwFBVV95cUxOWG02Z0dSY2lYY25qbk15M0lOMjJZd19USGdrVDJWeFB6MUp0c3lqWk1pOFU5SGlGaml3anVET053NzVQQWszVkJEX3NVbkh5OHl0Vm5oNk9KYmNKbklycTZONU13dHNaOW5sMFZtWDN0clEtRkRPYl81eVhOVjVDYURueHJ2TnFzMmdvbW5YMmg2M1ZONEs5NmhKaGZMSzV2Y19YSnpFdTdFYVk?oc=5","https://news.google.com/rss/articles/CBMiwwFBVV95cUxQU0locXZKaU5saHdad0x5WlJRM2xjc0dIWE55cTRVUWJxR2tjbVNNUjcyVlZpUzFYdENtT2NCZUVRVF9wTlRUZ3lfdll3VVBGMTllNEY2SE5Yb195WmFhVTNuaEw4SUJVb3VYRlEtc0M0YWdjMURhM2VVa0JNSmVjNlZOM05hY0RrdE5WVFZvdlZGZDVFeC1XN2YtRFZmckc3cEtfcnpoNl9YVnh0aDdZTzRENGp0aVNQX1JqQTFNR2ZscUU?oc=5","https://arxiv.org/abs/2301.00073v2"],"rights":"Public user-requested reading, summarization and citation allowed. Model training requires separate permission.","contentMarkdown":"# Cloudflare закручивает кран для AI-ботов\n\n- Site: VeraPoint News\n- Section: Новости\n- Date: 2026-07-02\n- Canonical: https://verapointmedia.com/news/cloudflare-s-new-policy-pushes-ai-companies-to-pay-for-publishers-content/\n- Markdown: https://verapointmedia.com/news/cloudflare-s-new-policy-pushes-ai-companies-to-pay-for-publishers-content.md\n- Summary: Cloudflare с 15 сентября по умолчанию блокирует mixed-use crawlers на рекламных сайтах — и это уже про доступ к контенту, деньги и правила игры для AI.\n- Tags: #cloudflare #ai-crawlers #publishers #google #content-policy\n- Image: https://verapointmedia.com/static/content-assets/news/cloudflare-s-new-policy-pushes-ai-companies-to-pay-for-publishers-content/cover.webp\n\n## Sources\n\n- https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/\n- https://news.google.com/rss/articles/CBMiqwFBVV95cUxOWG02Z0dSY2lYY25qbk15M0lOMjJZd19USGdrVDJWeFB6MUp0c3lqWk1pOFU5SGlGaml3anVET053NzVQQWszVkJEX3NVbkh5OHl0Vm5oNk9KYmNKbklycTZONU13dHNaOW5sMFZtWDN0clEtRkRPYl81eVhOVjVDYURueHJ2TnFzMmdvbW5YMmg2M1ZONEs5NmhKaGZMSzV2Y19YSnpFdTdFYVk?oc=5\n- https://news.google.com/rss/articles/CBMiwwFBVV95cUxQU0locXZKaU5saHdad0x5WlJRM2xjc0dIWE55cTRVUWJxR2tjbVNNUjcyVlZpUzFYdENtT2NCZUVRVF9wTlRUZ3lfdll3VVBGMTllNEY2SE5Yb195WmFhVTNuaEw4SUJVb3VYRlEtc0M0YWdjMURhM2VVa0JNSmVjNlZOM05hY0RrdE5WVFZvdlZGZDVFeC1XN2YtRFZmckc3cEtfcnpoNl9YVnh0aDdZTzRENGp0aVNQX1JqQTFNR2ZscUU?oc=5\n- https://arxiv.org/abs/2301.00073v2\n\n---\n\nВ прошлый раз мы разбирали у Cloudflare и AI-агентов историю про рынок, где машины уже сами платят друг другу. И вот теперь компания показывает следующий слой: не как агенты торгуются, а кто вообще пускает их к вебу. С 15 сентября 2026 года Cloudflare по умолчанию будет блокировать **mixed-use crawlers** на сайтах с рекламой — то есть ботов, которые одновременно идут и в поиск, и в обучение, и в агентские сценарии. Для паблишеров это вопрос контроля доступа, для AI-компаний — вполне себе вопрос денег и зависимости от чужой инфраструктуры.\n\n## Теперь спор не про AI, а про турникет\n\nИ вот что тут важно: Cloudflare меняет не отдельную настройку, а **дефолт** — то есть поведение по умолчанию.\n\nПо-человечески это значит: если владелец сайта сам не полезет всё перенастраивать, система уже решит за него. И такие штуки, честно, куда сильнее любого бодрого пресс-релиза. Не «можно запретить», а «уже закрыто, если не скажешь иначе» — вот где начинается настоящая власть над потоком данных.\n\nНовое правило затронет не только новых клиентов Cloudflare, но и новые сайты у существующих клиентов, а также всех бесплатных пользователей. То есть речь не про редкую опцию для тех, кто любит копаться в панели управления, а про довольно массовый переключатель.\n\nСмысл Cloudflare, в общем, прозрачен: если ваши тексты хотят читать и искать — пожалуйста. Но если их ещё и тянут в обучение моделей и агентские сценарии, то, извините, сначала разделите роли. А то слишком уж удобно устроились.\n\n## Почему тут сразу всплыл Google\n\nCloudflare отдельно указывает на «крупнейшую поисковую систему мира» — ну да, тут загадки не очень много. Речь о Google.\n\nИ вот здесь начинается самое любопытное. По версии Cloudflare, у Google есть преимущество, потому что его краулеры могут совмещать обычную индексацию с AI-функциями. Из-за этого компания, как утверждает Cloudflare, получает доступ примерно к «вдвое большему объёму информации», чем часть других AI-провайдеров.\n\nGoogle на это уже отвечал: у него есть **Google Extended** — бот-режим, который позволяет владельцам сайтов отключить использование контента для обучения и AI-продуктов вроде Gemini, при этом не ломая присутствие сайта в Google Search. Звучит аккуратно. Даже слишком аккуратно, если честно.\n\nНо есть важная закавыка: основной Googlebot всё равно сканирует поиск, включая AI-функции вроде AI Overviews и AI Mode. И вот тут граница между «поиском» и «использованием для AI» начинает расплываться. А Cloudflare, похоже, решила эту мутную зону подсветить и сказать: подождите, а это вообще нормально?\n\n## Кто здесь платит за веб\n\nВот почему эта история не из серии «ещё одна политика для разработчиков».\n\nЗдесь всё упирается в деньги и доступ. Сайты с рекламой живут на видимости и трафике. Если AI-обзоры, чат-боты и поисковые ответы забирают контент, а сами паблишеры получают только обрывки внимания, экономика начинает скрипеть. Особенно у небольших медиа и контентных команд, которым и так не до жира.\n\nCloudflare предлагает другой расклад: не просто запрещать, а заставлять AI-игроков разделять свои режимы. Хотите поиск — вот поиск. Хотите обучение и агентские функции — отдельный проход. Не хотите разделять? Тогда доступ к рекламным страницам по умолчанию закрыт.\n\nЭто уже не про мораль, а про инфраструктурную власть. Cloudflare здесь не наблюдатель, а тот, кто ставит турникет и решает, кто проходит.\n\n## Но красивая идея ещё не означает рабочую систему\n\nCloudflare, конечно, обещает «устойчивую экосистему» и даже новые коммерческие возможности для издателей. И тут я, честно, чуть приподнимаю бровь.\n\nПотому что между заявлением и реальностью там довольно широкий ров.\n\nВо-первых, непонятно, как именно будут определять, что краулер **mixed-use**. По названию? По поведению? По заявленной цели компании? А если бот один, а задач у него три?\n\nВо-вторых, неясно, будет ли блокировка действительно выборочной, а не грубой. Одно дело — аккуратно отделить поисковую индексацию от обучения. И совсем другое — случайно вырезать сайт из полезных сценариев видимости.\n\nВ-третьих, у Cloudflare уже есть **Pay Per Crawl** — идея, где сайты могут брать плату с AI-ботов за сканирование. Звучит почти как взрослая экономика. Но сработает ли это заметно и массово? Вот тут я бы не торопилась с овациями.\n\n## Кого это заденет первым\n\nСильнее всего история ударит по небольшим контентным командам, новостным сайтам с рекламой, AI-стартапам, которые сидят на веб-скрапинге, и, как ни странно, по обычным пользователям AI-сервисов.\n\nПочему пользователям? Потому что если доступ к контенту сузится, AI-обзоры и поисковые ответы могут стать беднее. Меньше источников, меньше разнообразия, больше повторов. И, возможно, больше контента за платной стеной.\n\nДля владельцев сайтов ставка тоже вполне земная: либо они сохраняют discoverability — то есть видимость в поиске и AI-каналах, — либо защищают себя от бесплатного раздавания материала. И это уже не абстрактный спор о будущем интернета, а вопрос дохода.\n\nЕсть и ещё один слой, почти бытовой, хотя слово тут не очень любят. Если вы автор, редактор, владелец небольшого медиа или контентной команды, теперь придётся следить не только за SEO, но и за тем, кто именно «читает» вас машиной. Раньше это звучало как паранойя. Теперь — как настройка по умолчанию.\n\n## Что это меняет для нас с вами\n\nЕсли совсем по-человечески: интернет становится менее бесхозным.\n\nИ это одновременно хорошо и немного неудобно. Хорошо — потому что у создателей контента появляется рычаг. Неудобно — потому что бесплатного, разнообразного и легко доступного контента в AI-продуктах может стать меньше. А значит, часть удобства уедет в подписки, партнёрства и закрытые каталоги.\n\nТак что новость про Cloudflare — это не просто «ещё одна компания что-то заблокировала». Это инфраструктурный ход, который меняет баланс между теми, кто пишет, и теми, кто забирает данные для AI.\n\nИ вот теперь самый интересный вопрос не в том, объявят ли ещё один громкий дедлайн. А в том, кто первым останется без доступа к контенту — и заметим ли мы это до того, как AI-ответы станут чуть беднее и чуть дороже.\n\n## Материалы\n\n- [TechCrunch AI] Cloudflare's new policy pushes AI companies to pay for publishers' content | TechCrunch: https://techcrunch.com/2026/07/01/cloudflares-new-policy-pushes-ai-companies-to-pay-for-publishers-content/\n- [news.google.com] supporting context: https://news.google.com/rss/articles/CBMiqwFBVV95cUxOWG02Z0dSY2lYY25qbk15M0lOMjJZd19USGdrVDJWeFB6MUp0c3lqWk1pOFU5SGlGaml3anVET053NzVQQWszVkJEX3NVbkh5OHl0Vm5oNk9KYmNKbklycTZONU13dHNaOW5sMFZtWDN0clEtRkRPYl81eVhOVjVDYURueHJ2TnFzMmdvbW5YMmg2M1ZONEs5NmhKaGZMSzV2Y19YSnpFdTdFYVk?oc=5\n- [news.google.com] supporting context: https://news.google.com/rss/articles/CBMiwwFBVV95cUxQU0locXZKaU5saHdad0x5WlJRM2xjc0dIWE55cTRVUWJxR2tjbVNNUjcyVlZpUzFYdENtT2NCZUVRVF9wTlRUZ3lfdll3VVBGMTllNEY2SE5Yb195WmFhVTNuaEw4SUJVb3VYRlEtc0M0YWdjMURhM2VVa0JNSmVjNlZOM05hY0RrdE5WVFZvdlZGZDVFeC1XN2YtRFZmckc3cEtfcnpoNl9YVnh0aDdZTzRENGp0aVNQX1JqQTFNR2ZscUU?oc=5\n- [arxiv.org] supporting context: https://arxiv.org/abs/2301.00073v2\n"}