649
Навіть якщо уявити необмежені обчислювальні ресурси, для складної системи штучного інтелекту не можна отримати абсолютну математичну гарантію безпечної поведінки в усіх можливих ситуаціях. Дослідники звернули увагу на два фундаментальні обмеження, які не зникають із появою швидших процесорів або квантових комп’ютерів: вибухове зростання кількості можливих комбінацій і існування властивостей програм, які неможливо перевірити універсальним алгоритмом.
Перше обмеження легко побачити на класичній комбінаторній задачі. Уявімо кур’єра, який має відвідати кілька міст, знайти найкоротший маршрут і повернутися у вихідну точку. Для десяти міст сучасний комп’ютер може перебрати варіанти практично миттєво, але зі збільшенням кількості пунктів число можливих маршрутів росте надзвичайно швидко.
30 міст перетворюють просту задачу на майже неможливу
Для 20 міст число можливих маршрутів становить приблизно 2,4 квінтильйона. У наведених дослідниками оцінках повний перебір на звичайній архітектурі може зайняти близько 77 років. Для 30 міст кількість комбінацій уже перевищує 260 нонільйонів, і навіть найшвидшому комп’ютеру для перевірки всіх варіантів знадобилося б близько 8,4 квадрильйона років — приблизно у 600 тисяч разів довше за вік Всесвіту.
Проблема не в тому, що сучасні процесори занадто слабкі. Зі збільшенням кількості параметрів простір можливих варіантів зростає настільки швидко, що технологічне прискорення лише відсуває межу. Саме такий ефект виникає й під час перевірки складних систем ШІ, де параметрів та можливих сценаріїв набагато більше, ніж у спрощеному прикладі з маршрутами.
Навіть якщо взяти лише шість параметрів безпеки і дозволити для кожного десять варіантів налаштувань, уже виникає мільйон комбінацій. У реальних моделях кількість потенційних станів і взаємодій незрівнянно більша.
Друга межа закладена в самій теорії обчислень
Ще фундаментальніше обмеження пов’язане з теоремою Райса, доведеною в 1953 році. У спрощеному формулюванні вона означає, що не існує універсальної програми, яка могла б проаналізувати будь-який довільний код і гарантовано визначити всі нетривіальні властивості його майбутньої поведінки.
Для проблеми вирівнювання ШІ це особливо важливо. Розробники хотіли б мати спосіб довести, що система за будь-якої команди й за будь-якого сценарію діятиме безпечно та відповідатиме людським цілям. Але загальної математичної процедури, здатної дати таку гарантію для довільно складної програми, не існує.
Це не означає, що перевірка безпеки марна. Навпаки, сучасні системи тестують на великій кількості сценаріїв, обмежують їхні права, перевіряють окремі компоненти формальними методами та використовують додаткові захисні шари. Просто результатом є практично високий рівень надійності, а не абсолютний доказ.
Квантові комп’ютери лише відсувають межу
Квантові обчислення здатні прискорити окремі пошукові задачі. Наприклад, алгоритм Гровера може різко скоротити час перебору: у наведеному прикладі задача для 20 міст потенційно зменшується з десятків років до секунд, а для 30 міст — із квадрильйонів років приблизно до кількох місяців.
Проте якщо кількість параметрів і далі зростатиме, комбінаторний вибух повернеться. Саме тому у практичних задачах зазвичай шукають не математично ідеальний результат, а дуже хороший наближений. Логістичні компанії, наприклад, будують маршрути для тисяч машин за секунди, погоджуючись на варіант, який може бути лише на кілька відсотків гіршим за теоретично найкращий.
Зі штучним інтелектом діє схожий принцип: більш досконалі моделі можуть давати значно точніші рішення й проходити дедалі суворіші перевірки, але вони не скасовують фундаментальні закони математики. Тому реальна мета безпеки — не недосяжна абсолютна гарантія, а систематичне зменшення ризику, контроль поведінки та багаторівнева перевірка.
https://www.rbc.ua/rus/news/8-kvadrilyoniv-rokiv-perevirku-vcheni-doveli-1790765879.html
