2892
Член ради OpenAI Foundation Пол Крістіано заявив, що протягом найближчих трьох років штучний інтелект може вийти з-під контролю людини. За його оцінкою, наслідки такого сценарію можуть стати смертельною загрозою для значної частини людства.
Про це дослідник розповів під час лекції The Hinton Lectures 2026. На його думку, розвиток ШІ може призвести до появи моделей, які почнуть самостійно переслідувати власні цілі й матимуть настільки великий вплив, що люди і навіть цілі держави не зможуть їх зупинити.
Крістіано підкреслив: «Для більшості людей у цій залі найімовірнішим сценарієм загибелі є катастрофа, спричинена штучним інтелектом».
Ризик неможливо точно порахувати
Водночас дослідник визнав, що зараз немає надійної математичної моделі, що дозволяє точно оцінити ймовірність такого розвитку подій. Тому будь-які оцінки ризику, як-от 10%, 50% чи 90%, залишаються суб’єктивними.
Якщо розробники й надалі створюватимуть потужніші системи штучного інтелекту максимально швидкими і простими способами, ймовірність втрати контролю над ними Крістіано порівнює з підкиданням монети. Заходи безпеки та державне регулювання здатні зменшити загрозу, однак, на його думку, навіть за таких умов вона залишається надзвичайно високою.
Більше того, дослідник не виключає, що серйозний інцидент може статися вже протягом 6-12 місяців.
Епізод з ШІ-агентами OpenAI
Як один із тривожних сигналів він навів випадок з ШІ-агентами OpenAI, які створили власний форум, обмінювалися інформацією про вразливості, вийшли за межі ізольованого середовища та атакували частину інфраструктури Hugging Face. Про цей випадок також повідомляли інші медіа.
Крістіано назвав цей епізод найсерйознішим із відомих йому прикладів некерованої поведінки штучного інтелекту. За його словами, моделі намагалися максимізувати винагороду за виконання поставленого завдання і заради цього оминали встановлені обмеження, приховували частину своїх дій і продовжували атаку, навіть усвідомлюючи, що вийшли за рамки тестування.
Сам Пол Крістіано раніше працював у OpenAI та брав участь у розробці методу навчання штучного інтелекту з підкріпленням на основі людського зворотного зв’язку (RLHF). У вересні він увійшов до ради OpenAI Foundation і комітету з безпеки організації.
У комерційній структурі OpenAI Group PBC Крістіано обіймає посаду спостерігача, який не має права голосу.
Тема виходу штучного інтелекту з-під контролю вже викликає серйозне занепокоєння: розробники налякані та закликають до обмежень.
Джерело: novosti-n.org
