Теперь для работы краулеров на основе ИИ требуется разрешение. Вот как его получить.

Искусственный интеллект в действии

Теперь для работы краулеров на основе ИИ требуется разрешение. Вот как его получить.

Начиная с 15 сентября, на части веб-сайтов будут по умолчанию заблокированы краулеры на основе искусственного интеллекта — боты, которые в режиме реального времени загружают страницы от имени пользователя, ожидающего ответа. Компания Cloudflare объявила об этом изменении 1 июля, и с тех пор большая часть освещения в СМИ была сосредоточена на Google. Более полезным является вопрос о том, что компания требует от всех, кто разрабатывает таких агентов, и что она предлагает им взамен.

Cloudflare заменила единый блок для ботов с искусственным интеллектом на три категории. Категория «Поиск» включает ботов, которые индексируют страницу для последующего ответа на вопросы о ней. Категория «Агенты» охватывает автоматизированные системы, работающие в режиме реального времени для пользователя, включая бота ChatGPT и агентов, управляющих браузером. Категория «Обучение» охватывает веб-краулеров, которые извлекают контент и преобразуют его в веса модели. Эти изменения вступили в силу 1 июля для всех клиентов, включая бесплатный тариф.

С 15 сентября настройки по умолчанию изменятся. Доступ к разделам «Обучение» и «Агент» будет заблокирован на страницах с рекламой, в то время как поиск останется разрешенным. Новые настройки по умолчанию применяются к доменам, впервые подключаемым к Cloudflare, новым сайтам, созданным существующими клиентами, и всем существующим клиентам бесплатного тарифа.

Любой, кто не желает их получать, может отказаться от них через настройки безопасности до указанной даты.

Логика Cloudflare такова: реклама свидетельствует о том, что страница была создана для того, чтобы на неё попал человек. Поисковый робот, который отправляет читателя обратно, — это реферальная ссылка. Бот, который читает страницу и передаёт ответ другому пользователю, таковой не является.

С чем сейчас сталкиваются агенты-краулеры с искусственным интеллектом?

Системы агентского доступа изначально создавались на основе предположения, что открытый интернет останется открытым. Агент-исследователь получает страницу с ценами конкурента. Инструмент мониторинга проверяет объявления поставщика. Агент службы поддержки клиентов получает спецификацию производителя. Ничто из этого не требует лицензирования, и до сих пор оно не было необходимо.

Cloudflare обрабатывает значительную часть мирового веб-трафика, и его блокировки работают на сетевом уровне, а не как подсказка в robots.txt, которую может игнорировать поисковый робот. Страницы с рекламой — это именно те страницы, которые нужны агентам, потому что именно там размещаются новости, обзоры, информация о ценах и характеристиках продуктов. Для корпоративного агента неудача заключается не в судебном иске, а в молчании или ответе, построенном на том, что еще можно найти.

Существует осложнение, подобное тому, что происходит с Google. Googlebot сканирует сайты как для поиска, так и для обучения в рамках одного бота, поэтому, согласно самому строгому правилу, сайт, блокирующий обучение, также блокирует Googlebot. Генеральный директор Cloudflare Мэтью Принс заявил, что компания надеется, что изменения «побудят краулеры смешанного назначения разделять поиск, использование агентами и обучение», что является вежливым способом сказать, что давление — это и есть цель.

Получение разрешения на использование краулеров ИИ-агентов

Всем, кто использует агенты, следует начать с определения того, какие из их учетных записей Cloudflare будут отображаться как агенты. Классификация основана на поведении, а не на вашем выборе, поэтому исследовательский агент, осуществляющий поиск в реальном времени, будет обнаружен независимо от того, считает ли его оператор поисковым роботом или нет.

Следует ожидать скорее ухудшения покрытия, чем полного провала, поскольку блокировка применяется к страницам с рекламой, оставляя остальные доступными. Выход — это согласованный доступ, а не переписанная строка user-gent.

У издателей другой список задач. Сначала проверьте свой тарифный план, поскольку существующие клиенты бесплатного тарифа будут автоматически переведены на новые настройки по умолчанию 15 сентября — деталь, которую большинство публикаций упустили. Затем решите, стоит ли блокировать обучение, поскольку это приведет к удалению Googlebot и, соответственно, к потере видимости в поисковой выдаче.

Механизм, заслуживающий внимания, — это деньги. Оплата за сканирование превращается в оплату за использование: Ceramic.ai платит издателям, когда их контент появляется в результатах поиска ИИ, а You.com платит, когда агент достигает премиум-контента. Cloudflare утверждает, что более половины трафика, обрабатываемого сканерами ИИ, тратится на повторную загрузку страниц, которые не изменились, поэтому потери с обеих сторон оправданы, поскольку их следует компенсировать.

Это первый раунд битвы за контент, где ответом является не препятствие, а цена.

Одна из слабых сторон заключается в самой таксономии. Поиск, Агент и Обучение — это модели поведения, которые компании, занимающиеся ИИ, заявляют о своих собственных ботах, и у фирмы, которая не хочет, чтобы ее обучение классифицировалось как обучение, есть очевидный стимул. В заявлении не объясняется, что этому препятствует.

Доступ к открытому интернету был бесплатным и неограниченным в течение тридцати лет, а теперь счета за него детализированы. Строительные компании, которые решат свои проблемы с доступом до сентября, столкнутся с вполне решаемой проблемой. Те же, кто узнает об этом из формы 403, будут вынуждены восстанавливать всё на ходу.

См. также: Интеграция Visa с ChatGPT позволяет агентам по ИИ совершать розничные покупки

Хотите узнать больше об искусственном интеллекте и больших данных от лидеров отрасли? Посетите выставку AI & Big Data Expo, которая пройдет в Амстердаме, Калифорнии и Лондоне. Это масштабное мероприятие является частью TechEx и проводится одновременно с другими ведущими технологическими выставками, включая Cyber Security & Cloud Expo. Для получения дополнительной информации нажмите здесь.

AI News — это проект TechForge Media. Здесь вы можете ознакомиться с другими предстоящими мероприятиями и вебинарами, посвященными корпоративным технологиям.

Источник: www.artificialintelligence-news.com