Аппаратное обеспечение

Сообщите Hub, какое вычислительное оборудование у вас есть (GPU, CPU или Apple Silicon), и он поможет найти модели, которые работают на вашей конфигурации. Эта информация также отображается в вашем публичном профиле, что позволяет сравнивать вашу конфигурацию с конфигурациями сообщества, и вы можете сделать её приватной в любой момент.

Управляйте им в любой момент в разделе Hardware settings.

Добавьте ваше оборудование

На странице Настройки оборудования добавьте каждый элемент оборудования, которым вы владеете:

1. Выберите тип: GPU, CPU или Apple Silicon.
2. Выберите провайдера и модель (например, NVIDIA RTX 4090).
3. Укажите объём памяти (VRAM, RAM или объединённую память) и количество устройств, которыми вы располагаете.

Добавляйте столько элементов, сколько хотите. Если у вас несколько устройств, отметьте одно как основное, чтобы оно отображалось первым на страницах моделей.

Ваше оборудование по умолчанию доступно публично. Отключите переключатель Publicly Visible, чтобы сделать его приватным.

Узнайте, какие модели подходят для вашего оборудования

На страницах моделей, предлагающих файлы GGUF или MLX, панель Hardware compatibility оценивает, запустится ли каждая квантизация на вашем сохранённом оборудовании, чтобы вы могли выбрать подходящий размер перед загрузкой. Используйте её вместе с Local Apps, чтобы начать работу в пару кликов.

Обмен и сравнение

Пока ваше оборудование доступно публично:

• На вашем профиле появится значок TFLOPS, в котором указана ваша предполагаемая суммарная вычислительная мощность.
• Вы можете просмотреть то, что использует сообщество и сравнить свою конфигурацию с другими на GPU, CPU и Apple Silicon.
• У каждого поставщика также есть своя страница, например NVIDIA, AMD, Apple, Intel и Qualcomm, где в одном месте собрано оборудование соответствующего бренда.

Чтение данных об оборудовании из API

Если ваше оборудование публично, оно также доступно программно:

• GET https://huggingface.co/oauth/userinfo содержит утверждение hardwareItems, если вашему приложению был предоставлен доступ profile, поэтому приложение Sign in with Hugging Face может читать конфигурацию вошедшего пользователя без дополнительного запроса.
• GET https://huggingface.co/api/users/{username}/overview возвращает массив hardwareItems для любого пользователя, чьё оборудование является публичным.

curl https://huggingface.co/api/users/{username}/overview

{
  "hardwareItems": [
    { "sku": ["GPU", "NVIDIA", "RTX 4090"], "mem": 24, "num": 2, "isPrimary": true }
  ]
}

Каждый элемент содержит:

• sku: тройка [type, provider, model].
• mem: объём памяти в ГБ (VRAM, RAM или объединённая память).
• num: количество единиц.
• isPrimary: присутствует только у элемента, отмеченного как основной.

Если пользователь отключил переключатель Publicly Visible, hardwareItems отсутствует в обоих ответах. Полные схемы ответов описаны в документации Hub API.

Дальнейшие шаги

• Использование моделей ИИ локально — запуск моделей в вашем любимом локальном приложении.
• Локальные агенты с llama.cpp — создайте агента для написания кода на собственном оборудовании.