Провайдеры инференса

Страницы моделей на Hugging Face предлагают платный по факту использования инференс для тысяч моделей, поэтому вы можете протестировать их прямо в браузере. Сервис работает на базе Inference Providers, с ежемесячными включёнными кредитами для пользователей PRO и организаций Team & Enterprise.

Inference Providers предоставляют разработчикам упрощённый и единый доступ к сотням моделей машинного обучения, обеспечиваемый лучшими партнёрами в области serverless-инференса. 👉 Полная документация доступна в документации Inference Providers.

Inference Providers на Hub

Inference Providers глубоко интегрирован с Hugging Face Hub, и вы можете использовать его несколькими способами:

• Интерактивные виджеты — тестируйте модели непосредственно на страницах моделей с помощью интерактивных виджетов, которые используют Inference Providers. Пример — страница модели DeepSeek-R1-0528.
• Inference Playground — легко тестируйте и сравнивайте модели завершения диалога с вашими запросами. Начните с Inference Playground.
• Поиск — отфильтруйте модели по провайдеру инференса на странице моделей, чтобы найти модели, доступные через конкретных провайдеров.
• Data Studio — используйте ИИ для изучения наборов данных на Hub. Попробуйте Data Studio на вашем любимом наборе данных.

Создание с помощью провайдеров инференса

Вы можете интегрировать Inference Providers в собственные приложения с помощью наших SDK или HTTP-клиентов. Ниже приведено краткое руководство по началу работы на Python и JavaScript; подробные сведения доступны в документации Inference Providers.

from huggingface_hub import InferenceClient

import os

client = InferenceClient(
    api_key=os.environ["HF_TOKEN"],
    provider="auto",   # Automatically selects best provider
)

# Chat completion
completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[{"role": "user", "content": "A story about hiking in the mountains"}]
)

# Image generation
image = client.text_to_image(
    prompt="A serene lake surrounded by mountains at sunset, photorealistic style",
    model="black-forest-labs/FLUX.1-dev"
)

import os
from openai import OpenAI

client = OpenAI(
    base_url="/static-proxy?url=https%3A%2F%2Frouter.huggingface.co%2Fv1%26quot%3B%3C%2Fspan%3E%2C
    api_key=os.environ["HF_TOKEN"],
)

completion = client.chat.completions.create(
    model="deepseek-ai/DeepSeek-V3-0324",
    messages=[
        {
            "role": "user",
            "content": "A story about hiking in the mountains"
        }
    ],
)

import { InferenceClient } from "@huggingface/inference";

const client = new InferenceClient(process.env.HF_TOKEN);

const chatCompletion = await client.chatCompletion({
    provider: "auto",  // Automatically selects best provider  
    model: "deepseek-ai/DeepSeek-V3-0324",
    messages: [{ role: "user", content: "Hello!" }]
});

const imageBlob = await client.textToImage({
  model: "black-forest-labs/FLUX.1-dev",
  inputs:
    "A serene lake surrounded by mountains at sunset, photorealistic style",
});

import { OpenAI } from "openai";

const client = new OpenAI({
  baseURL: "/static-proxy?url=https%3A%2F%2Frouter.huggingface.co%2Fv1%26quot%3B%3C%2Fspan%3E%2C
  apiKey: process.env.HF_TOKEN,
});

const completion = await client.chat.completions.create({
  model: "meta-llama/Llama-3.1-8B-Instruct",
  messages: [{ role: "user", content: "A story about hiking in the mountains" }],
});

Вам понадобится токен Hugging Face с правами на инференс. Создайте его в разделе Settings > Tokens.

Как работает Inference Providers

Чтобы узнать больше о Inference Providers, обратитесь к документации Inference Providers. Ниже приведены основные ресурсы:

• Быстрый старт
• Руководство по тарифам и выставлению счетов
• Детали интеграции с Hub

Что такое HF-Inference API?

HF-Inference API — один из провайдеров, доступных через Inference Providers. Ранее он назывался «Inference API (serverless)» и работает на базе Inference Endpoints.

Для получения более подробной информации о провайдере HF-Inference см. его специальную страницу.