3514
Чат-боти з високими тестовими балами погано працюють у реальних сценаріях лікування людей.
Дослідження, опубліковане в журналі Nature Madicine, показало, що штучний інтелект має схильність надавати неточну та суперечливу інформацію, що створює ризики під час ухвалення медичних рішень. Попри високі результати на стандартизованих тестах, ШІ не гарантує коректної поведінки в реальних умовах.
“Незважаючи на весь ажіотаж, штучний інтелект просто не готовий взяти на себе роль лікаря”, — заявила співавторка дослідження доктор Ребекка Пейн. За її словами, проблема полягає не лише в якості відповідей, а й у взаємодії між людиною та моделлю.
У межах рандомізованого дослідження вчені залучили 1298 повнолітніх учасників із Великої Британії. Їм запропонували десять медичних сценаріїв і попросили визначити можливі захворювання та рекомендований курс дій.
Частина учасників користувалася мовними моделями GPT-4o, Llama 3 або Command R+, тоді як контрольна група використовувала звичні методи, зокрема інтернет-пошук або власні знання. Результати показали, що користувачі з ШІ визначали правильні захворювання менш ніж у 34,5% випадків.
Водночас саме програмне забезпечення демонструвало значно вищі показники точності під час окремого тестування без участі людей. Це свідчить про те, що ключовою проблемою є взаємодія користувачів із моделями, а не лише їхні знання.
“Пацієнти повинні усвідомлювати, що розпитувати модель з великою кількістю мов про їхні симптоми може бути небезпечно”, — наголосила Пейн. Вона додала, що це може призвести до хибних діагнозів або ігнорування ситуацій, коли потрібна термінова допомога.
Провідний автор дослідження Ендрю Бін зазначив, що навіть найкращі мовні моделі стикаються з труднощами під час реальної взаємодії з людьми. Він висловив сподівання щодо того, що “ця робота сприятиме розробці більш безпечних та корисних систем штучного інтелекту”.
Дослідники рекомендують проводити систематичне тестування за участю реальних користувачів перед впровадженням ШІ у сфері охорони здоров’я. На їхню думку, стандартні бенчмарки та симуляції не здатні виявити ключові ризики для пацієнтів.
Це дослідження зʼявилося після випуску спеціальних сервісів для роботи з питаннями щодо здоровʼя компаніями Anthropic та OpenAI. Claude for Healthcare орієнтований на клінічну практику, адміністрування та взаємодію з пацієнтами. За даними Anthropic, він має допомогти лікарям скоротити час на рутинні процеси, а пацієнтам — краще розуміти медичну інформацію.
ChatGPT Health від OpenAI допомагає тлумачити результати аналізів, готуватися до візитів до лікаря, аналізувати дані з носимих пристроїв і порівнювати варіанти страхування. Водночас сервіс не призначений для діагностики чи лікування і має лише підтримувати медичні рішення.
