3194
Із 15 вересня Cloudflare змінила правила для ШІ-краулерів на сайтах із рекламою. Компанія почала за замовчуванням блокувати так звані mixed-use crawlers — ботів, які одночасно використовуються для традиційного пошуку, роботи ШІ-агентів та збору даних для навчання моделей.
Нові налаштування застосовуються до нових клієнтів Cloudflare, нових сайтів існуючих клієнтів і всіх чинних безкоштовних акаунтів. Власник сайту при бажанні може змінити політику вручну.
Cloudflare пояснює рішення необхідністю чіткіше розділити традиційний вебпошук і використання контенту системами штучного інтелекту. Раніше один і той самий бот міг збирати сторінки для пошукової видачі, а потім використовувати ці дані для інших ШІ-сценаріїв.
Особливо зміна стосується сайтів, які заробляють на рекламі. Якщо ШІ-сервіс отримує інформацію безпосередньо й користувач більше не переходить на оригінальну сторінку, видавець втрачає перегляди й рекламні доходи.
Cloudflare вже просуває модель, у якій власники сайтів можуть дозволяти або забороняти доступ окремим ШІ-компаніям, а також вимагати оплату за автоматичне використання контенту.
Компанія хоче змусити постачальників ШІ чіткіше декларувати призначення своїх ботів. Якщо один краулер одночасно виконує кілька різних завдань, сайт має отримати можливість вирішувати, які саме сценарії він дозволяє.
Політика може вплинути на те, як великі моделі та агентні системи отримують актуальну інформацію з відкритого вебу. Для видавців це ще один інструмент контролю, а для ШІ-компаній — додатковий стимул домовлятися про ліцензування контенту.
