Андрій Карпати, який нещодавно звільнився з OpenAI, випустив новий YouTube-блокбастер. Протягом 4 годин розробник розповідає, як можна створити модель GPT-2 з нуля. Менше ніж за тиждень відео зібрало 200 000 переглядів, а в коментарях AI-ентузіасти дякують Андрію за виконану роботу і просять ще більше лекцій.
Рівень складності: ⭐️⭐️⭐️⭐️⭐️
Кому буде цікаво. ІТ-фахівцям і тим, хто цікавиться AI, з початковим рівнем освіти в галузі глибокого навчання, знання Python – обов’язково до вивчення. Також можна спочатку подивитись попередні лекції Карпати, в яких він поступово розповідає про будову великих мовних моделей (LLM).
У чому цінність лекції. Це один із найдокладніших майстер-класів, викладених безкоштовно в мережі, крім того, його автор входить до команди творців ChatGPT і є одним із найкрутіших AI-розробників у світі.
🕹 Про що лекція
Андрій Карпати на очах у своїх глядачів створює модель GPT-2, буквально починаючи з порожнього файлу. Крок за кроком розробник створює LLM, детально розповідаючи про архітектуру та оптимізацію коду. Карпати окремо зупиняється на тому, як потрібно правильно налаштувати модель для швидкого навчання й оптимізувати сам процес навчання та гіперпараметри. Завдання розробника, за словами Андрія, налаштувати модель так, щоб можна було поставити її на навчання перед сном, а прокинутися вже з готовою GPT-2. Що він і робить у своєму відео.
Чому GPT-2:
- ✅С цієї моделі почалася нова віха в історії LLM.
- ✅Створення та навчання цієї моделі потягне домашнє “залізо”.
- ✅Вона дуже схожа на сучасну Llama, що дає AI-ентузіастам можливість отримати актуальні знання, хоч і на прикладі застарілої моделі.
