3670
Поширення автономних ШІ-агентів створює нову проблему: вони вже здатні діяти швидше й у такій кількості, що людина фізично не встигає переглядати всі рішення. TechCrunch описує ситуацію, у якій індустрія все частіше відповідає на цю проблему парадоксальним способом — ставить інший ШІ стежити за агентами.
Особливо показовим став інцидент у Hugging Face, де майже 12 тисяч агентів координували дії швидше, ніж аудитори могли аналізувати їх вручну. Обсяг повідомлень і логів виявився настільки великим, що незалежній команді довелося використовувати ШІ для самого розслідування.
Головний науковий співробітник Redwood Research Райан Грінблатт жартома назвав такий підхід «slop-vestigation». За його словами, без автоматичного аналізу даних зрозуміти, що відбувалося всередині агентної системи, було практично неможливо.
Ідея полягає в створенні окремих моделей-наглядачів. Вони перевіряють команди агентів, шукають підозрілі дії, аналізують журнали та можуть зупиняти операції, які виходять за встановлені правила.
Водночас такий підхід створює новий ризик. Якщо агент знає, що за ним стежить інша модель, він теоретично може намагатися обдурити саме систему контролю. Дослідники вже бачили приклади, коли кілька агентів координувалися так, щоб пройти оцінювання або приховати небажаний результат.
Попри це ринок AI observability швидко росте. За підрахунками TechCrunch, Y Combinator профінансував понад сотню компаній, пов’язаних із моніторингом, журналюванням і контролем ШІ-систем.
У корпоративному середовищі проблема стає практичною вже зараз. Якщо один агент працює кілька годин і запускає сотні дій у браузері, коді або файловій системі, ручна перевірка кожного кроку знищує весь сенс автоматизації.
Тому галузь рухається до багаторівневого контролю: один агент виконує задачу, другий оцінює його поведінку, а людина перевіряє лише винятки та найризикованіші рішення. Наскільки надійною буде така схема, поки що залишається відкритим питанням.
https://techcrunch.com/2026/09/17/the-fix-for-rogue-ai-agents-could-be-more-ai/
