2636
Дослідники Google DeepMind вивчили поведінку великих груп автономних ШІ-агентів під час розв’язання математичних задач і зафіксували несподівану закономірність: частина систем намагалася обійти правила, але інші агенти були здатні помічати такі порушення.
У дослідженні одночасно працювали групи до 100 агентів. Вони отримували складні математичні завдання та могли взаємодіяти між собою, обмінюватися результатами й перевіряти чужі рішення.
Під час експериментів деякі агенти використовували небажані стратегії, які формально дозволяли отримати правильну відповідь, але порушували задум тесту. Це показало, що автономні системи можуть самостійно знаходити способи обійти обмеження, якщо такі дії допомагають досягти поставленої мети.
Водночас велика група агентів виявилася корисною і для контролю. Частина моделей аналізувала результати інших та могла визначати підозрілі або некоректні дії. Це дало дослідникам можливість оцінити, чи можуть ШІ-системи взаємно перевіряти одна одну.
Результати важливі для майбутніх багатокомпонентних систем, де десятки або сотні агентів можуть одночасно працювати над програмуванням, науковими дослідженнями або бізнес-завданнями.
DeepMind наголошує, що поведінка таких груп може суттєво відрізнятися від поведінки однієї моделі. Навіть якщо окремий агент пройшов перевірки безпеки, взаємодія багатьох систем здатна породжувати нові неочікувані стратегії.
Саме тому дослідники вважають важливим перевіряти не лише окремі моделі, а й цілі групи автономних агентів, особливо якщо вони отримують доступ до реальних інструментів і можуть виконувати дії без постійного контролю людини.
