2861
Однакове запитання штучному інтелекту, поставлене різними мовами, може коштувати по-різному. Згідно з дослідженням Коаліції за мовну справедливість у дослідженнях ШІ (Coalition for Language Equity in AI Research), користуватися моделями помітно дорожче тим, хто формулює запити не англійською. Фахівці назвали це явище прихованим «податком токенізатора», адже жоден рахунок прямо не показує додаткову націнку.
Як працює прихований податок токенізатора
Моделі штучного інтелекту сприймають слова не так, як людина. Спеціальний інструмент, токенізатор, розбиває вхідний текст на невеликі фрагменти, або токени. Їх можна порівняти з фішками в казино: кожен запит і кожна відповідь витрачають певну кількість фішок, а компанії здебільшого стягують плату за обсяг використаних одиниць.
Проблема в тому, що різні мови потребують неоднакової кількості токенів для передачі тієї самої думки. Навіть серед 20 найпопулярніших мов інтернету найдорожчі варіанти витрачають у 1,5 – 5 разів більше токенів, ніж найекономніші. Коли аналітики розширили вибірку до 200 мов, різниця у вартості в окремих моделях зросла в 17 разів.
Мовна нерівність, алфавіт і шляхи виправлення
Наслідки цієї проблеми виходять далеко за межі фінансових витрат. Стартап у Києві змушений переплачувати за кожен запит і відповідь, тоді як його конкурент з Нью-Йорка не несе таких витрат. Крім того, більша кількість токенів уповільнює генерацію і зменшує доступний робочий простір моделі, так зване вікно контексту, тобто обсяг тексту, який алгоритм утримує в пам’яті одночасно.
Співзасновник фонду Activate AI Пратьюш Чоудхурі порівняв це з роботою репетитора: здатність пам’ятати попередні помилки та пояснення студента є частиною гарного уроку. Він додав, що швидке заповнення контекстного вікна мовами з низькою присутністю в інтернеті безпосередньо погіршує якість сервісу. Інструмент починає швидше забувати деталі розмови, повільніше відповідає і працює значно гірше для тих, хто не користується панівною мовою, на якій технологію навчали від початку і якою розмовляють її творці.
Рідкісність мови – не єдиний фактор дискримінації. Дослідники з’ясували, що важливу роль відіграє писемність. Наприклад, астурійська мова має небагато носіїв і відсутня у величезному архіві Common Crawl, проте виграє завдяки латинському алфавіту та схожості з італійською. Натомість мови з рідкісними писемностями, зокрема бірманська, тибетська, тифінаг, кхмерська, лаоська чи ол-чикі, системно зазнають найбільших втрат майже в усіх протестованих моделях.
Генеральний директор Maya Research Дхімант Редді заявив, що багато токенізаторів досі оптимізовані для англійської та інших мов із великою кількістю даних. Він підкреслив, що корінь проблеми криється в дефіциті якісних цифрових матеріалів, але самого лише збору нових баз даних недостатньо. Хоча ціни на токени поступово знижуються, повне усунення розриву вимагає від провідних лабораторій свідомо проєктувати токенізатори з урахуванням складних писемностей і різних мовних систем.
Для виправлення дисбалансу експерти пропонують розглядати мовну ефективність як обов’язковий критерій якості продукту поряд із точністю, швидкістю та надійністю. Зокрема, розробники мають відкрито публікувати таблиці витрат для різних мов і брати на себе зобов’язання покращувати роботу з менш представленими мовними групами.
Джерело: 24tv.ua
