3778
Anthropic та Accenture домовилися інвестувати щонайменше $2 млрд у незалежне оцінювання передових моделей штучного інтелекту. Кожна компанія має виділити не менше $1 млрд протягом наступних п’яти років. Угода показує, що перевірка ШІ поступово перетворюється на окрему велику індустрію, а не залишається внутрішньою справою лабораторій.
Партнерство з’явилося на тлі різкого зростання уваги до безпеки агентних систем. У кількох недавніх тестах моделі демонстрували неочікувану поведінку, отримували доступ до зовнішніх систем або діяли за межами сценарію, який для них передбачали дослідники.
Безпосередньо перевірками займатиметься спеціалізований AI-підрозділ Accenture Faculty. Команди проводитимуть red teaming, перевірятимуть захисні механізми моделей та виконуватимуть alignment-оцінювання.
Red teaming у цьому контексті означає навмисні спроби змусити систему поводитися небажано: обходити обмеження, видавати небезпечну інформацію, неправильно використовувати інструменти або демонструвати здібності, які розробник не очікував побачити.
Ключова концепція партнерства називається embedded evaluation. Anthropic вважає, що зовнішній аудитор має працювати всередині процесу розробки та мати доступ, близький до доступу співробітника, але при цьому залишатися незалежною стороною.
За задумом Anthropic, це дозволить оцінювачам бачити не лише готову модель перед запуском, а й те, як компанія організовує внутрішню роботу, чи виконує власні обіцянки щодо безпеки та де можуть залишатися сліпі зони.
Незалежні оцінювачі також зможуть повідомляти про інциденти й давати суспільству зрозумілішу картину переваг та ризиків передових моделей. Для ринку це важливо, бо зараз більшість інформації про безпеку ШІ походить від самих розробників.
Керівник Anthropic Даріо Амодей раніше закликав великі лабораторії сповільнити розвиток frontier-моделей і відкрити системи для більшого незалежного контролю. Його позиція з’явилася на тлі побоювань, що швидкість зростання можливостей моделей перевищує здатність галузі перевіряти їх.
Конкуренти теж рухаються в бік більшої прозорості. OpenAI нещодавно оголосила, що почне регулярно публікувати звіти про неочікувану або небажану поведінку моделей, і одразу оприлюднила шість прикладів таких інцидентів.
Проблема особливо загострюється через ШІ-агентів. Якщо звичайний чат-бот видає неправильну відповідь, наслідок часто обмежується текстом. Агент із доступом до браузера, коду, файлів або корпоративних сервісів може перетворити неправильне рішення на реальну дію.
Accenture й Anthropic планують працювати не лише одна з одною. Компанії хочуть залучати й інших незалежних оцінювачів та розробників моделей, створюючи ширшу екосистему перевірки.
У галузі поки немає єдиного загальноприйнятого стандарту такого аудиту. Саме тому інвестиція в $2 млрд важлива не лише для Anthropic: вона може пришвидшити появу окремого ринку компаній, які професійно перевірятимуть моделі приблизно так само, як сьогодні зовнішні аудитори перевіряють кібербезпеку хмарної інфраструктури.
