Дослідники виявили, що медичний ШІ Whisper для транскрипції зустрічей із пацієнтами на основі моделі OpenAI схильний до галюцинацій і іноді повністю вигадує інформацію.
Whisper використовується компанією Nabla для транскрипції розмов. Система вже розшифрувала 7 млн записів. Інструмент використовують понад 30 тисяч лікарів і 40 систем охорони здоров’я.
У Nabla знають, що Whisper може галюцинувати, і «вирішують цю проблему».
Проблему виявила група дослідників із Корнельського, Вашингтонського університету та інших. Вони з’ясували, що Whisper галюцинує приблизно в 1% випадків, вставляючи цілі безглузді речення під час пауз на записах. Дослідники помітили, що проблема особливо поширена, коли ШІ транскрибує бесіду людини з розладом мови, що називається афазією.
Еллісон Кенеке з Корнельського університету розповіла, що приклади галюцинацій включають спотворення слів мовця, а також повністю вигадані ШІ епізоди з фізичним насильством, сексуальними натяками та демографічними стереотипами.
Дослідники виявили, що галюцинації також включали вигадані медичні стани або фрази на кшталт «Дякую за перегляд!».
Дослідження представили ще в червні на конференції Асоціації обчислювальної техніки FAccT у Бразилії. Неясно, чи було воно рецензоване. Представник OpenAI Тая Крістіансон заявила:
«Ми серйозно ставимося до цієї проблеми та постійно працюємо над її виправленням, включно зі зниженням галюцинацій. Під час використання Whisper на нашій платформі API політики забороняють покладатися на інструмент у певних контекстах, особливо під час ухвалення рішень із високими ставками, а наша мапа моделей містить рекомендації проти використання в галузях із високим ризиком».
Раніше незалежна дослідницька компанія Apollo виявила, що модель OpenAI o1, яка розмірковує, здатна брехати. Таке відбувається, коли модель генерує неправдиву інформацію, навіть якщо у неї є підстави вважати, що вона може бути невірною. Наприклад, у звіті йдеться про те, що приблизно в 0,38% випадків o1-preview надає інформацію, яку її ланцюжок міркувань вказує як імовірно неправдиву, включно з підробленими посиланнями або цитатами. Apollo виявила, що модель може фабрикувати дані замість того, щоб визнати свою нездатність виконати запит.
