Модель від Google DeepMind – Genie – використовує текстовий промпт і намальований від руки ескіз або фотографію для створення класичних 2D-ігор на кшталт Super Mario Bros. Чи означає це, що геймдизайнери залишаться без роботи, чи індустрія геймдеву стане доступною навіть для тих, хто не має досвіду та освіти? Розібралися, як влаштовані моделі text2game.
📱 Як влаштована Genie
Genie навчили на 30 000 годинах відео з 2D-іграми. Модель аналізувала, як положення персонажа на екрані залежить від дій гравця, і на основі цього створювала послідовність кадрів, які складаються в рівні. Головний мінус: гра генерується зі швидкістю один кадр на секунду (у сучасних ігор цей параметр – 30-60 кадрів на секунду).
🖥 GameGAN
NVIDIA теж використовувала відеодані для навчання AI-моделі GameGAN. Але до них розробники додали інформацію про натиснуті під час гри кнопки. Однак таке накладення тегів на відеокадри вимагає великих витрат, а це обмежує можливий обсяг даних для навчання. Проте у GameGAN добре виходять прості ігри на кшталт Pac-Man.
Обидві моделі – Genie і GameGAN – дослідницькі проєкти. У звичайних користувачів немає можливості їх протестувати.
🇨🇦 Astrocade AI – генератор ігор
Astrocade AI – це стартап (підтримується фондом NVIDIA), що розвиває мобільний додаток для генерації ігор за допомогою простих текстових запитів. Достатньо ввести команду, наприклад, «згенерувати платформер із персонажем, що стрибає», і AI створить усі необхідні елементи гри. Потім її можна відредагувати за допомогою нового промпта, наприклад, «хочу, щоб костюм персонажа був червоного кольору, і щоб під час стрибка він здійснював перекид».
Astrocade AI – це ще й спільнота: готову гру можна опублікувати у відкритому доступі, щоб інші користувачі могли протестувати її або доопрацювати. Подивіться скріншоти з розробок перших користувачів застосунку ⤴️
Детальніше про технологію Astrocade AI розповів фахівець із машинного навчання Андрій Куренков у подкасті про text2game-моделі.
Записатися в лист очікування, щоб протестувати Astrocade AI можна тут.
