Опубликовать набор данных в Hub

Hub содержит обширную коллекцию популярных исследовательских датасетов, отобранных сообществом. Мы рекомендуем делиться своими датасетами на Hub, чтобы помогать развитию ML-сообщества и ускорять прогресс для всех. Мы приветствуем любые вклады; добавление датасета — это просто перетаскивание и сброс!

Для начала создайте аккаунт Hugging Face Hub, если у вас его еще нет.

Загрузка с помощью интерфейса Hub

Веб-интерфейс Hub позволяет пользователям без опыта разработки загружать набор данных.

Создать репозиторий

Репозиторий хранит все файлы вашего набора данных, включая историю ревизий, что позволяет сохранять несколько версий набора данных.

1. Нажмите на свой профиль и выберите New Dataset, чтобы создать новый репозиторий датасета.
2. Придумайте название для набора данных и определите, будет ли он публичным или частным. Публичный набор данных виден всем, а частный доступен только вам или членам вашей организации.

Загрузить набор данных

1. После создания репозитория перейдите на вкладку Файлы и версии, чтобы добавить файл. Выберите Добавить файл, чтобы загрузить файлы набора данных. Мы поддерживаем множество расширений для текстовых, аудиоданных и изображений, таких как .csv, .mp3 и .jpg, среди прочих. Для текстовых данных с расширениями .csv, .json, .jsonl и .txt мы рекомендуем сжимать их перед загрузкой в Hub (например, в файл с расширением .zip или .gz).

   Расширения текстовых файлов по умолчанию не отслеживаются Git LFS, и если их размер превышает 10 МБ, они не будут закоммичены и загружены. Полный список отслеживаемых расширений файлов можно найти в файле .gitattributes вашего репозитория. Для этого учебника можно использовать следующие примеры файлов .csv, так как они небольшие: train.csv, test.csv.

2. Перетащите файлы набора данных и добавьте краткое описательное сообщение коммита.

3. После загрузки файлов набора данных они сохраняются в вашем репозитории набора данных.

Создание карточки набора данных

Добавление карточки датасета имеет огромную ценность, так как помогает пользователям находить ваш датасет и понимать, как использовать его ответственно.

1. Нажмите Create Dataset Card, чтобы создать карточку набора данных. Эта кнопка создаёт файл README.md в вашем репозитории.

2. Вверху вы увидите Metadata UI с несколькими полями для выбора, такими как лицензия, язык и категории задач. Это самые важные теги, помогающие пользователям находить ваш датасет на Hub. Когда вы выбираете вариант в каждом поле, он автоматически добавляется в верхнюю часть карточки датасета.

   Вы также можете обратиться к спецификациям Dataset Card, где приведён полный набор (необязательных) вариантов тегов, таких как annotations_creators, чтобы помочь вам выбрать подходящие теги.

3. Нажмите на ссылку Import dataset card template вверху редактора, чтобы автоматически создать шаблон карточки набора данных. Заполнение шаблона — отличный способ представить ваш набор данных сообществу и помочь пользователям понять, как его использовать. Подробный пример того, как должна выглядеть хорошая карточка набора данных, можно найти в CNN DailyMail Dataset card.

Загрузка набора данных

После того как ваш набор данных сохранён на Hub, любой может загрузить его с помощью функции load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Загрузка с помощью Python

Пользователи, предпочитающие загружать датасеты программно, могут использовать библиотеку huggingface_hub. Эта библиотека позволяет взаимодействовать с Hub из Python.

1. Начните с установки библиотеки:

pip install huggingface_hub

2. Чтобы загрузить набор данных на Hub в Python, необходимо войти в свой аккаунт Hugging Face:

hf auth login

3. Используйте функцию push_to_hub(), чтобы добавить, закоммитить и отправить файл в ваш репозиторий:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

Чтобы сделать набор данных приватным, установите параметр private в значение True. Этот параметр будет работать только при создании репозитория впервые.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

Чтобы добавить новую конфигурацию (или подмножество) в набор данных или новый сплит (train/validation/test), обратитесь к документации Dataset.push_to_hub().

Конфиденциальность

Приватный набор данных доступен только вам. Аналогично, если вы поделитесь набором данных в рамках своей организации, то его смогут получить и другие участники организации.

Загрузите приватный набор данных, передав ваш токен аутентификации в параметр token:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

Что дальше?

Поздравляем, вы прошли все учебные материалы! 🥳

Отсюда вы можете перейти к:

• Подробнее о том, как использовать другие функции 🤗 Datasets для обработки набора данных.
• Потоковая обработка больших наборов данных без их локального скачивания.
• Определите разбиения и конфигурации набора данных и поделитесь им с сообществом.

Если у вас есть вопросы о 🤗 Datasets, присоединяйтесь к сообществу на нашем форуме и задавайте их.