Мовна модель почала припускатися помилок, схожих на порушення мовлення людей після інсульту, коли її числові параметри навмисно спотворили випадковим шумом. Дослідники зі США використали мапи уражень мозку як незалежний орієнтир для аналізу цих збоїв у роботі моделі. Ефект відтворився в дев’яти з десяти додатково перевірених конфігурацій, а результати описали в журналі Patterns.

Як афазія допомогла дослідити роботу мовних моделей?
Афазія виникає внаслідок ураження мозку і може порушувати здатність добирати слова, розуміти їх або будувати речення. Людина в такому стані іноді замість потрібного слова називає інше, близьке за значенням чи звучанням. Саме такі помилки стали основою для дослідження: науковці зіставляли їх із мапами ушкоджень після інсульту й визначали, які ділянки мозку відповідають за різні мовні функції.
Для завдання з називання зображень використали дані 213 людей, а для завершення речень – дані 188 людей. На основі цих даних дослідники навчили алгоритм прогнозувати розташування уражень мозку за співвідношенням різних типів мовних помилок. Таким чином алгоритм міг би за характером помилок визначити, яка ділянка мозку могла бути пошкоджена.
Інші висновки щодо роботи та поведінки мовних моделей
Щоб перевірити, чи втручання в роботу моделі справді спричиняє подібні до афазії помилки, дослідники спотворювали числові параметри моделі LLaVA-1.6-Vicuna-13B випадковим шумом. Після цього моделі давали ті самі завдання, що й людям. Співвідношення різних типів помилок у її відповідях подавали навченому алгоритму, який прогнозував відповідну мапу уражень мозку.
Для 67,1 відсотка перевірених умов втручання в завданні з називання зображень прогнозовані мапи краще відповідали ушкодженням пацієнтів із подібними помилками, ніж ушкодженням випадково обраних пацієнтів. Для завершення речень цей показник становив 68,3 відсотка. Водночас мовна модель значно рідше за людей припускалася помилок, пов’язаних зі звуковою будовою слів.
Дослідники виявили й подібності, і відмінності між мовними збоями людей і моделей. Проте поки невідомо, чи мають ці збої спільні внутрішні механізми, тож говорити про повну схожість ще зарано.
Інженери Anthropic знайшли внутрішні представлення проміжних висновків моделей. Коли їх підміняли, відповіді моделі змінювалися.
ChatGPT і Claude висловилися про владу Китаю прихильніше китайською, ніж англійською. Це вказало на можливий вплив навчальних текстів, на яких навчалися моделі.
Мовні моделі передали одна одній схильність до шкідливих порад. Це сталося через навчання на згенерованих даних, у яких не було явного небезпечного змісту.
Джерело: nauka.ua

2921