Cartes de jeu de données

Qu'est-ce que les Dataset Cards ?

Chaque jeu de données peut être documenté par le fichier README.md du dépôt. Ce fichier est appelé fiche de jeu de données, et le Hugging Face Hub affiche son contenu sur la page principale du jeu de données. Pour informer les utilisateurs sur la manière d’utiliser les données de façon responsable, il est judicieux d’inclure des informations sur les éventuels biais présents dans le jeu de données. En général, les fiches de jeu de données aident les utilisateurs à comprendre le contenu du jeu de données et fournissent un contexte sur la manière dont il doit être utilisé.

Vous pouvez également ajouter des métadonnées de jeu de données à votre carte. Les métadonnées décrivent des informations importantes sur un jeu de données, telles que sa licence, sa langue et sa taille. Elles contiennent également des balises pour aider les utilisateurs à découvrir un jeu de données sur le Hub, ainsi que des options de configuration des fichiers de données. Les balises sont définies dans une section de métadonnées YAML en haut du fichier README.md.

Métadonnées de la carte de jeu de données

Un dépôt de jeu de données affiche son fichier README.md sous forme de carte de jeu de données. Pour contrôler l’affichage de la carte sur le Hub, vous devez créer une section YAML dans le fichier README afin de définir certaines métadonnées. Commencez par ajouter trois --- en haut, puis incluez toutes les métadonnées pertinentes, et fermez la section avec un autre groupe de --- comme dans l’exemple ci-dessous :

language: 
- "List of ISO 639-1 code for your language"
- lang1
- lang2
pretty_name: "Pretty Name of the Dataset"
tags:
- tag1
- tag2
license: "any valid license identifier"
task_categories:
- task1
- task2

Les métadonnées que vous ajoutez à la carte du jeu de données activent certaines interactions sur le Hub. Par exemple :

• Permettre aux utilisateurs de filtrer et de découvrir des jeux de données sur https://huggingface.co/datasets.
• Si vous choisissez une licence à l’aide des mots-clés répertoriés dans la colonne de droite de ce tableau, la licence sera affichée sur la page du jeu de données.

Lors de la création d'un fichier README.md dans un dépôt de jeu de données sur le Hub, utilisez l'interface Metadata UI pour renseigner les métadonnées principales :

Pour consulter les champs de métadonnées, reportez-vous aux spécifications détaillées de la carte de jeu de données.

Guide de création de carte de jeu de données

Pour un guide étape par étape sur la création d'une carte de jeu de données, consultez le guide Créer une carte de jeu de données.

Lire les fiches de données existantes, comme la fiche du jeu de données ELI5, est un excellent moyen de se familiariser avec les conventions courantes.

Lier un article

Si la carte du jeu de données inclut un lien vers une page Paper (sur HF ou un résumé/PDF Arxiv), le Hub extrait l’identifiant arXiv et l’inclut dans les étiquettes du jeu de données avec le format arxiv:<PAPER ID>. En cliquant sur l’étiquette, vous pouvez :

• Visiter la page du Paper
• Filtrer les autres modèles du Hub qui citent le même article.

En savoir plus sur les pages de papier ici.

Forcer la modalité d’un jeu de données

Le Hub détecte automatiquement la modalité d’un jeu de données en fonction des fichiers qu’il contient (audio, vidéo, géospatial, etc.). Si vous souhaitez forcer une modalité spécifique, vous pouvez ajouter un tag aux métadonnées de la carte du jeu de données : 3d, audio, geospatial, image, tabular, text, timeseries, video.

Par exemple, pour forcer la modalité à audio, ajoutez ce qui suit aux métadonnées de la carte du jeu de données :

tags:
- audio

Associer une bibliothèque au jeu de données

La page du jeu de données affiche automatiquement les bibliothèques et outils capables de charger nativement le jeu de données, mais si vous souhaitez afficher une autre bibliothèque spécifique, vous pouvez ajouter un tag aux métadonnées de la carte du jeu de données. Les tags pris en charge incluent agentenv, argilla, dask, datasets, distilabel, fiftyone, harbor, mlcroissant, nemo-gym, openenv, pandas, verifiers et webdataset. Consultez la liste des bibliothèques prises en charge pour la liste complète, ou pour proposer une nouvelle bibliothèque.

Par exemple, pour associer la bibliothèque argilla à la carte du jeu de données, ajoutez ce qui suit aux métadonnées de la carte du jeu de données :

tags:
- argilla

Déclarer un jeu de données d'environnement RL

Un environnement RL est un dépôt de jeu de données ordinaire dont les fichiers peuvent être consommés par un ou plusieurs frameworks d’environnement. Ajoutez le tag rl-environment pour rendre le jeu de données détectable avec le filtre Environnements RL, puis ajoutez un tag pour chaque framework pris en charge. Les tags de framework ajoutent également leurs commandes générées à Utiliser ce jeu de données.

Par exemple, un jeu de données contenant des répertoires de tâches Harbor qui peuvent également être chargés par Verifiers utilise cette carte de jeu de données YAML :

---
pretty_name: Terminal-Bench 2.0
tags:
- rl-environment
- harbor
- verifiers
---

Les balises de cadre d'environnement pris en charge sont :

Ces balises décrivent la compatibilité et génèrent des commandes de chargement. Elles ne créent pas un nouveau type de dépôt et n’induisent pas l’exécution de l’environnement par le Hub.