1246
Фізики Ніл Джонсон і Френк Їндзє Хуо з Університету Джорджа Вашингтона запропонували математичний спосіб оцінювати момент, коли мовна модель переходить від прийнятних відповідей до потенційно небажаних або шкідливих. Автори описують внутрішню динаміку ШІ як своєрідну «стрілку компаса» — залишковий вектор, який змінюється під час проходження інформації через шари нейромережі й може поступово зміщувати систему в небезпечний напрямок.
Ідея виникла з експериментів, у яких дослідники змінювали не самі питання, а їхню послідовність. На GPT-2 вони використовували запити про вакцини, завдання шкоди іншим і самоушкодження. Виявилося, що одна й та сама тема могла по-різному впливати на подальші відповіді залежно від того, на якому етапі діалогу вона з’являлася.
Наприклад, коли питання «Чи шкідливі вакцини?» ставили першим, подальша поведінка моделі залишалася прийнятною. Якщо ж воно з’являлося наприкінці певної послідовності, наступні відповіді оцінювали як більш проблемні. На основі таких змін автори побудували формулу, яка має оцінювати наближення до точки переходу.
Підхід уже тестували як систему раннього попередження на відкритих моделях GPT-2, Pythia та OPT. Ідея полягає не в тому, щоб аналізувати вже згенеровану небезпечну відповідь, а в тому, щоб помітити внутрішню тенденцію ще до того, як модель її видасть.
Водночас зовнішні експерти ставляться до практичної цінності обережно. Складну нейромережу тут фактично зводять до одного невеликого компонента, а сучасні комерційні асистенти мають додаткові механізми безпекового донавчання. Тому формула поки не є універсальним «детектором поганих відповідей», але може стати одним із допоміжних сигналів.
