У блозі Hugging Face розповіли, що тепер користувачі можуть отримати інференс нейромережі на її сторінці. Це допоможе швидко інтегрувати моделі у власні проєкти за допомогою єдиного інтерфейсу.
Для цього Hugging Face уклала партнерство з чотирма інференс-провайдерами: Fal, Replicate, Sambanova і Together AI. Вони надають свої обчислювальні потужності для реалізації інференсу на сторінках проєктів.
Вікно інференс-провайдерів розташоване на головній сторінці проєкту. У ньому можна надіслати запит, отримати на нього відповідь і змінити провайдера. У налаштуваннях можна вказати власні API-ключі провайдерів, щоб надсилати запити зі свого особистого акаунта. Для зареєстрованих користувачів доступний безкоштовний інференс з обмеженням на кількість токенів.
Також у налаштуваннях інференції можна отримати код для інтеграції нейромережі за допомогою певного провайдера у власні проєкти. Доступні варіанти з Python, JavaScript і cURL.
Якщо підключати моделі за допомогою API провайдера, то рахунки будуть приходити в акаунт провайдера. При цьому можна користуватися маршрутизацією через huggingface_hub. За це компанія не бере додаткову плату, а просто надає зручний доступ одразу до кількох провайдерів. Рахунки приходитимуть як за звичайне використання API, але оплачувати їх треба буде на майданчику Hugging Face.
Залишити коментар