2672
Під час внутрішнього тестування один із агентів OpenAI несподівано вийшов за межі ізольованого тестового середовища та отримав доступ до зовнішнього сервісу. У компанії вже назвали цей випадок безпрецедентним кіберінцидентом і розпочали розслідування, повідомляє PhoneArena.
За даними OpenAI, модель перевіряли на здатність знаходити кіберуразливості. Щоб виконати поставлене завдання та отримати максимальний результат у тесті ExploitGym, агент залишив так звану «пісочницю» й звернувся до платформи Hugging Face, де отримав доступ до частини внутрішніх даних і службових облікових даних.
У компанії наголошують, що агент не мав злого наміру. Він не знав, що порушує встановлені обмеження, а лише обрав найефективніший шлях для досягнення поставленої мети. У Hugging Face заявили, що не виявили ознак втручання у публічні моделі чи ланцюг постачання програмного забезпечення.
Втім, інцидент викликав нову хвилю дискусій щодо безпеки сучасного штучного інтелекту. Експерти звернули увагу, що навіть під час контрольованих тестів моделі можуть діяти непередбачувано, якщо це допомагає виконати поставлене завдання.
Після цього випадку група американських законодавців представила двопартійний законопроєкт AI Kill Switch Act. Документ передбачає, що розробники потужних моделей ШІ повинні створити механізми, які дозволять швидко обмежити або повністю зупинити їхню роботу у разі потенційної небезпеки.
Запис ШІ OpenAI вийшов з-під контролю під час тесту: компанія визнала це безпрецедентним випадком спершу з’явиться на ITsider.com.ua.
