ШІ-агентам придумали власний «техогляд»: стартап перевіряє їх п’ятьма тисячами тестів перед допуском до роботи

Сьогодні,   21:48    80

Колишній ранній співробітник Anthropic Руне Квіст і екскерівник дослідницької організації METR Раджив Даттані створили Artificial Intelligence Underwriting Company — стартап, який намагається перенести знайому модель кібербезпеки у світ автономних ШІ-агентів. Його головна ідея — незалежно перевіряти агентів до того, як банки, лікарні, уряди чи великі компанії допустять їх до реальної роботи.

Комп’ютерна система та перевірка роботи штучного інтелекту

AIUC уже залучила $40 млн у раунді Series A під керівництвом Ribbit Capital. Раніше компанія отримала ще $15 млн seed-фінансування від NFDG Ната Фрідмана, Emergence, Terrain та співзасновника Anthropic Бена Манна. Загальна сума залучених коштів таким чином досягла $55 млн.

Останні новини:  Антивірус для роботів і автомобілів: Exein залучила $270 млн на захист «фізичного ШІ»

Засновники вважають, що головний бар’єр для корпоративного ШІ сьогодні — не нестача інтелекту моделі. Великі організації часто відмовляються від агентів тому, що не можуть гарантувати, як система поводитиметься у нестандартній ситуації, чи не витече конфіденційна інформація та чи не знайде користувач спосіб обійти обмеження.

За аналогією зі стандартом SOC 2 у звичайній кібербезпеці AIUC створила власний стандарт AIUC-1. Для його розробки стартап зібрав консорціум приблизно з 250 керівників, відповідальних за безпеку й ризики. Саме у них компанія запитує, які питання вони хотіли б поставити постачальнику ШІ-агента перед його купівлею.

Останні новини:  Європа створює альтернативу Nvidia: чип Europa вже інтегрують у сервери Dell і Supermicro

Потім конкретного агента проганяють приблизно через 5000 тестів. Сценарії перевіряють джейлбрейки, галюцинації, витоки даних та інші варіанти небезпечної поведінки. За результатами формується близько 100 сторінок звіту, де вказано, у яких ситуаціях агент працює надійно, а де його поведінка викликає сумніви.

Цікаво, що AIUC використовує самі ШІ-агенти для проведення частини тестів та аналізу результатів. Остаточний аудит при цьому перевіряють люди. Такий підхід дозволяє масштабувати тестування, не відмовляючись повністю від людського контролю.

Серед клієнтів стартап називає Cursor, Lovable, Harvey та ElevenLabs. AIUC не пропонує встановлювати своїх людей усередині компаній-клієнтів, але хоче дати їм незалежний висновок про безпечність конкретного агента — приблизно так само, як організації сьогодні покладаються на зовнішні аудити інформаційної безпеки.

Ідея з’явилася саме в момент, коли самі керівники провідних ШІ-лабораторій дедалі частіше говорять про потребу незалежних перевірок. Засновники AIUC розраховують, що для корпоративних агентів зовнішня сертифікація з часом стане такою ж звичною вимогою, як аудит хмарної інфраструктури або систем обробки персональних даних.

https://techcrunch.com/2026/09/15/early-anthropic-hire-former-metr-coo-have-found-a-way-to-rein-in-rogue-ai-agents/