2852
Вчені з Мічиганського університету (University of Michigan) продемонстрували, що обробка запитів штучним інтелектом різними мовами вимагає суттєво різних енергозатрат. Залежно від мови та моделі енергозатрати на запити національними мовами можуть перевищувати показники для англомовних запитів у 1,4–180 разів.
Як проводилася перевірка і чому запити коштують по-різному
Перевірка на мовну та енергетичну дискримінацію охоплювала 122 мови та п’ять варіантів моделей: Qwen 3 з 8, 14 та 32 млрд параметрів (розробник — Alibaba), Gemma 3 з 27 млрд параметрів (Google) та Llama 3.1 з 8 млрд параметрів (Meta✴). Для вимірювань використовувалася розроблена дослідниками система ML.Energy, яка дозволяє оцінювати енергоспоживання під час виконання обчислень ШІ-моделями. Апаратною платформою слугували два графічні прискорювачі NVIDIA — L40S та RTX 6000 Pro Blackwell.
Однією з основних причин різниці в енергоспоживанні стало збільшення кількості токенів — мінімальних одиниць тексту, на які модель розбиває вхідні дані та формує відповіді. Токенізатори, навчені переважно на латинському алфавіті, менш ефективно обробляли деякі інші системи письма, розбиваючи слова на більшу кількість фрагментів. Крім того, для мов з обмеженими ресурсами для навчання моделі часто генерували значно довші відповіді, іноді в 20–25 разів перевищуючи англійські за числом вихідних токенів.
Більша кількість токенів підвищувала вимоги до пам’яті та змушувала обробляти запити меншими пакетами, що знижувало ефективність використання графічних процесорів і збільшувало енергозатрати. У дослідженні максимальна різниця в енергоспоживанні на один вихідний токен досягала 8,3 разу, а загальні витрати на обробку одного й того ж набору запитів різнилися в 179 разів: від 17,6 кДж для англійської мови до 3147 кДж для пушту.
Найбільший розрив для мов без латиниці
Особливо помітна різниця для мов, що не використовують латиницю і представлені меншим обсягом цифрових матеріалів для навчання ШІ. Наприклад, генерація тексту на хінді вимагає в середньому в 7,9 разу більше енергії, а на бенгальській — в 15,3 раза більше, ніж на англійській. Однак для більшості західноєвропейських мов також характерна різниця в енергозатратах, і порівняно з англійською вона може бути двократною.
Дослідники також виявили зв’язок між енергозатратами та точністю відповідей: мови, що вимагають більше обчислювальних ресурсів, у середньому демонстрували гірші результати у тестових завданнях. За оцінкою дослідників, близько 5,2 млрд людей у світі говорять мовами, обробка яких вимагає щонайменше удвічі більше енергії, ніж обробка англійської мови. Це може збільшувати вартість комерційних ШІ-сервісів для людей з різних мовних груп, оскільки багато постачальників розраховують вартість послуг, виходячи з кількості оброблених і згенерованих токенів.
«Більшість людей захоче використовувати моделі ШІ, ставлячи запитання на своїх рідних мовах, і це буде неминучим, оскільки ШІ впроваджується в усе більше сфер життя суспільства, але подвійний “штраф” [за неанглійську] підвищує ймовірність того, що деякі люди не зможуть дозволити собі ШІ, а компанії будуть неохоче надавати моделі на певних мовах», — роблять невтішний висновок автори роботи.
Як можливі способи скорочення розриву автори пропонують створювати моделі, спеціально оптимізовані для окремих мов, направляти запити до найбільш підходящих мовних моделей або попередньо перекладати їх на англійську перед обробкою універсальною системою. Останній підхід, на їхню думку, застосовний за умови достатньо високої якості перекладу. Ще один напрямок — розширення навчальних корпусів за рахунок матеріалів мовами, які поки недостатньо представлені в цифровому вигляді, зокрема із залученням носіїв цих мов.
Джерело: toneto.net
