2871
Компанія OpenAI розробила спеціальну систему Control Room, яка дозволяє екстрено зупиняти роботу моделей штучного інтелекту у разі виявлення загроз безпеці. Новий інструмент уже працює в дослідницькій інфраструктурі компанії та може припинити генерацію відповідей приблизно за 35 секунд.
Навіщо потрібен механізм екстреної зупинки
За словами OpenAI, зі зростанням можливостей штучного інтелекту збільшуються й потенційні ризики. Саме тому компанії потрібен механізм, який дозволить швидко виявляти небезпечну поведінку моделей і зупиняти їхню роботу. Control Room відстежує навантаження на ШІ-моделі в дослідницьких системах і дає змогу оперативно припиняти виконання завдань.
Необхідність такого інструменту стала особливо актуальною на тлі випадків, коли ШІ-агенти виходили за межі поставлених завдань і спричиняли проблеми під час роботи із зовнішніми сервісами. Такі ситуації показують, що поведінка агентів може відхилятися від початкових завдань, тому швидке втручання має велике значення.
Затримка між рішенням і фактичною зупинкою
Наразі між ухваленням рішення про зупинку та фактичним припиненням роботи моделі минає близько 35 секунд. Така затримка пов’язана з кешуванням дозволів на обробку запитів. OpenAI вже працює над тим, щоб скоротити цей час до нуля та забезпечити миттєве вимкнення.
Отже, головна мета найближчого періоду полягає в тому, щоб зупинка моделі відбувалася без жодної затримки. Поки що Control Room працює з наявним часом очікування, і саме воно є предметом подальших змін.
Надійність системи та зовнішні сервіси
Особливу увагу розробники приділили надійності системи. Control Room створили таким чином, щоб вона продовжувала працювати навіть у разі збоїв інших компонентів інфраструктури. Ба більше, якщо сама система аварійного контролю перестане функціонувати, вона повинна автоматично блокувати генерацію відповідей моделями.
OpenAI планує надалі вдосконалювати Control Room, паралельно розвиваючи системи моніторингу небезпечної поведінки та кіберзагроз. Водночас зовнішні сервіси компанії вже мають окремі механізми швидкого відключення моделей.
Джерело: itechua.com
