Фізики знайшли математичну підказку, коли штучний інтелект може дати небезпечну відповідь

19.10.2026   23:41    824

Чому той самий чатбот в одному випадку відповідає доречно, а в іншому може видати небажану інформацію? Двоє фізиків з Університету Джорджа Вашингтона запропонували математичний підхід, який має допомогти помітити небезпечний зсув у поведінці мовних моделей ще до появи проблемної відповіді.

Фізики знайшли математичну підказку, коли штучний інтелект може дати небезпечну відповідь

Ніл Джонсон і Френк Їндзє Хуо звернули увагу на внутрішні сигнали нейромережі під час обробки послідовності запитань. Вони порівняли один із таких сигналів — залишковий вектор — зі стрілкою компаса. На думку авторів, зміна його напряму може бути пов’язана з переходом від прийнятних відповідей до тих, які викликають занепокоєння.

Останні новини:  Meta змінює керівника інфраструктури після багатьох років роботи

На практиці вирішальним виявився не тільки зміст запиту, а й порядок попередніх реплік. В експериментах дослідники змінювали послідовність запитань про різні чутливі теми та стежили за реакцією GPT-2. У деяких сценаріях однакове запитання, поставлене на початку або наприкінці серії, супроводжувалося різною поведінкою моделі.

Останні новини:  Потужні землетруси в Антарктиді: вчені виявили під океаном те, що давно вважали "мертвим"

Спираючись на спостереження, фізики вивели формулу для оцінки моменту, коли внутрішній стан системи наближається до небажаного результату. Вони розглядають її як можливу систему раннього попередження. Досліди проводили в лабораторних умовах на відкритих моделях, зокрема GPT-2, Pythia й OPT.

Водночас далеко не всі фахівці переконані, що цього достатньо для прогнозування роботи сучасних асистентів. Дослідник Шеффілдського університету Вей Сін зауважив, що реальні мовні моделі значно складніші, ніж один математичний показник. Крім того, підхід не враховує всіх механізмів навчання безпечній поведінці, які застосовують у нинішніх системах.

Останні новини:  Фізики виміряли найслабшу гравітаційну силу між двома масами

Автори визнають необхідність подальших перевірок, хоча й вважають, що основні принципи будови досліджених моделей мають спільні риси з потужнішими системами. Отже, формула наразі залишається експериментальним інструментом для вивчення поведінки ШІ, а не доведеним універсальним захистом від усіх небезпечних відповідей.

https://ua.news/ua/technologies/fiziki-zaproponuvali-formulu-dlia-viiavlennia-nebazhanikh-vidpovidei-shi-live-science