Мовна модель GPT-4 пройшла тест Тюрінга, про що сказано в статті, опублікованій у вигляді препринта на Arxiv.org
Суть тесту проста: учасники тестування за допомогою ПК спілкуються зі співрозмовником, заздалегідь не знаючи, чи є цей співрозмовник людиною або машиною.
У цьому випадку в дослідженні брало участь 500 осіб. Кожен із них спілкувався з кожним із чотирьох співрозмовників по п’ять хвилин і потім мав висловити свою думку щодо того, чи був цей співрозмовник людиною або машиною.
У тесті крім GPT-4 брала участь також модель GPT-3.5, стара програма ELIZA з 60-х років і жива людина. У підсумку лише 22% учасників визнали ELIZA людиною, у випадку GPT-3.5 таких було вже 50%, а GPT-4 людиною визнали 54% учасників тесту, що дає змогу авторам дослідження дійти висновку, що ця мовна модель проходить тест Тюрінга. До слова, справжню людину людиною порахувало 67% учасників.
Учасники також оцінювали свою впевненість у прийнятті рішення за шкалою від 0 до 100. Середня впевненість для кожного випадку була такою:
GPT-4: Середня впевненість становила 70%. GPT-3.5: Середня впевненість склала 65% ELIZA: Середня впевненість склала 90% Жива людина: Середня впевненість склала 80%.
