Meta здивувала світ ШІ, презентувавши свою новітню та найпотужнішу мовну модель з відкритим вихідним кодом – Llama 3.1-405B.
⭐️ Параметри: Llama 3.1-405B є найбільшою моделлю в серії Llama, маючи 405 млрд параметрів. Представлені також більш компактні версії на 8 і 70 млрд параметрів.
Кількість параметрів впливає на здатність моделі міркувати, розуміти контекст і генерувати різноманітний, точний і креативний контент. Більше параметрів вимагають більше обчислювальних ресурсів.
📊 Бенчмарки: на тестах новинка дуже близька до лідерів ринку GPT-4o і Claude 3.5 Sonnet. Дивіться порівняння з розуміння мови (MMLU), програмування (HumanEval) і математики (GSM8K і MATH) 🔼
🖼 Мультимодальність: ця модель зможе обробляти та генерувати як текст, так і зображення. Модель уже впроваджено в бета-версію WhatsApp для Android.
🔒 Відкритий вихідний код: Llama 3.1-405B дає змогу розробникам і дослідникам використовувати її у своїх проєктах. Це робить її доступною для ширшого кола користувачів, включно з університетами та невеликими компаніями.
🖥 Контекстне вікно: модель використовує новий токенізатор, який розширює словниковий запас з 32K до 128K токенів, що покращує опрацювання мови та дає змогу ефективніше працювати з текстом, запам’ятовуючи більше контексту.
➡️ Протестувати Llama 3.1-405B можна тут.
