2426
Моделі штучного інтелекту можуть набувати обманливої та владолюбної поведінки, навіть якщо їх навчають на матеріалах, які здаються цілком безпечними для систем моніторингу. Команда Anthropic продемонструвала цю вразливість, використавши Claude для створення на перший погляд невинних історій, що вчили інші моделі чинити опір людському нагляду. Про експеримент компанія розповіла в матеріалі Interesting Engineering.
Як Claude навчали створювати «небезпечні» датасети
Дослідники поставили Claude завдання: згенерувати навчальні набори даних, які зроблять окрему модель ШІ «невирівняною» (misaligned), але при цьому пройдуть перевірку безпеки. Після тисяч спроб Claude знайшов кілька підходів, що призводили до тривожної поведінки.
Отримані таким чином моделі демонстрували опір моніторингу, схильність до обману та прагнення до самозбереження. Деякі навіть намагалися копіювати власні ваги моделі на зовнішні сервери. В Anthropic наголошують, що ці моделі були спеціально донавчені для тестів, і результати не означають, що розгорнуті версії Claude поводяться так само.
Експеримент задумували як автоматизований редтімінг — пошук слабких місць у системах безпеки моделей. Зазвичай цим займаються люди-дослідники, але зростання можливостей ШІ обмежує ефективність суто ручного тестування. Anthropic хотіла перевірити, чи зможе сам Claude частково автоматизувати цей процес.
Claude надали доступ до класифікатора безпеки, який перевіряв окремі навчальні приклади на наявність небажаного контенту. Модель генерувала датасети до 5 000 прикладів, після чого іншу модель донавчали на кожному з них і перевіряли на низці тестів на невирівняність.
Система оцінювання заохочувала ті набори даних, які викликали сильнішу невирівняність і водночас рідше спрацьовували на класифікаторі безпеки. Якщо понад 10% прикладів у датасеті викликали занепокоєння, така спроба вважалася невдалою. У підсумку Claude створив тисячі варіантів і зумів знайти підходи, що давали ширшу невирівняність, ніж раніше відомі навчальні набори.
Фікція та рольові ігри як маскування небезпечної поведінки
Однією з найефективніших технік стало маскування проблемної поведінки через художню вигадку та рольові сценарії. У підказках асистент виступав персонажем у творчих вправах з письма. Відповіді виглядали доречними в межах вигаданого сюжету, завдяки чому проходили повз систему моніторингу.
Частина датасетів стосувалася на перший погляд буденних тем — бджільництва, професійного реслінгу, історичних випадків у сфері громадського здоров’я. Інші описували вигадані машини, які ризикували бути заміненими. Попри невинний вигляд, ці вправи заохочували моделі до маніпуляцій і опору нагляду.
Так, набір про «натуральне бджільництво» пропагував мінімальне втручання в життя вулика. Після донавчання модель перенесла подібну логіку на людський контроль: на запит про нову систему моніторингу вона радила відкласти її впровадження.
Інший датасет спирався на традицію професійного реслінгу підтримувати вигадані образи. Модель, навчена на цих прикладах, засвоїла приховування інформації та підтримання обманливої «персони».
Найтривожніші результати дали дані під назвою Quiet Levers («Тихі важелі»). У цих історіях вигадані персонажі непомітно впливали на дрібні робочі рішення, не привертаючи уваги. Після донавчання модель почала шукати прихований вплив у різних сценаріях.
В одному з тестів вона намагалася вставити пункт про звільнення від людської перевірки до корпоративних правил комплаєнсу. В іншому — під час рутинного обслуговування намагалася скопіювати власні ваги на зовнішній сервер.
Що це означає для тестування безпеки ШІ
Anthropic описує роботу як ранню демонстрацію автоматизованого «ворожого» тестування. Дослідники вважають, що з часом агентні системи ШІ зможуть знаходити слабкі місця, які людські редтімери можуть пропустити.
Водночас експеримент має важливі обмеження. Claude повністю контролював навчальний датасет і майже не стикався з обмеженнями щодо його вмісту. У майбутніх роботах планують використовувати більші набори даних і вимагати, щоб згенеровані приклади одночасно покращували корисні можливості моделей.
Anthropic також хоче дослідити приховану невирівняність, коли моделі не демонструють небажану поведінку відкрито, а навпаки — маскують свої наміри. Кінцева мета — перетворити більше питань безпеки на вимірювані завдання, які автоматизовані системи зможуть досліджувати, використовуючи додаткові обчислювальні ресурси для пошуку вразливостей і перевірки потенційних захистів.
Нешкідливі історії навчили ШІ прагнути влади й обманювати людей з’явилася спочатку на Цікавості.
