Nombres de archivos y divisiones

Para alojar y compartir tu conjunto de datos, crea un repositorio de datos en Hugging Face Hub y sube tus archivos de datos.

Esta guía te mostrará cómo nombrar tus archivos y directorios en tu repositorio de datos al subirlo y habilitar todas las funciones del Hub de Datasets, como el Dataset Viewer. Consulta la colección de conjuntos de datos de ejemplo para más detalles.

Un conjunto de datos con una estructura y formatos de archivo admitidos tiene automáticamente un visor de conjunto de datos en su página en el Hub.

Tenga en cuenta que si ninguna de las estructuras anteriores se adapta a su caso, puede tener un mayor control sobre cómo define las divisiones y subconjuntos con la Configuración manual.

Caso de uso básico

Si tu conjunto de datos no está dividido en subconjuntos de entrenamiento/validación/prueba, la estructura de datos más simple es tener un solo archivo: data.csv (esto funciona con cualquier formato de archivo admitido y cualquier nombre de archivo).

Tu repositorio también contendrá un archivo README.md, la ficha del conjunto de datos que se muestra en la página de tu conjunto de datos.

my_dataset_repository/
├── README.md
└── data.csv

Divisiones

Algunos patrones en el repositorio del conjunto de datos se pueden usar para asignar ciertos archivos a las divisiones de entrenamiento/validación/prueba.

Nombre del archivo

Puedes nombrar tus archivos de datos según las divisiones train, test y validation:

my_dataset_repository/
├── README.md
├── train.csv
├── test.csv
└── validation.csv

Si no tiene divisiones no tradicionales, puede colocar el nombre de la división en cualquier parte del archivo de datos. La única regla es que el nombre de la división debe estar delimitado por caracteres no alfanuméricos, por ejemplo test-file.csv en lugar de testfile.csv. Los delimitadores admitidos incluyen guiones bajos, guiones, espacios, puntos y números.

Por ejemplo, los siguientes nombres de archivo son todos aceptables:

• conjunto de entrenamiento: train.csv, my_train_file.csv, train1.csv
• conjunto de validación: validation.csv, my_validation_file.csv, validation1.csv
• conjunto de prueba: test.csv, my_test_file.csv, test1.csv

Nombre del directorio

Puede colocar sus archivos de datos en directorios distintos llamados train, test y validation, donde cada directorio contiene los archivos de datos para esa división:

my_dataset_repository/
├── README.md
└── data/
    ├── train/
    │   └── data.csv
    ├── test/
    │   └── more_data.csv
    └── validation/
        └── even_more_data.csv

Palabras clave

Existen varias formas de referirse a las divisiones de entrenamiento/validación/prueba. Las divisiones de validación a veces se denominan “dev”, y las divisiones de prueba pueden referirse como “eval”. Estos otros nombres de división también se admiten, y las siguientes palabras clave son equivalentes:

• train, training
• validación, válido, val, dev
• test, testing, eval, evaluation

Por lo tanto, la estructura siguiente es un repositorio válido:

my_dataset_repository/
├── README.md
└── data/
    ├── training.csv
    ├── eval.csv
    └── valid.csv

Varios archivos por división

Las divisiones pueden abarcar varios archivos, por ejemplo:

my_dataset_repository/
├── README.md
├── train_0.csv
├── train_1.csv
├── train_2.csv
├── train_3.csv
├── test_0.csv
└── test_1.csv

Asegúrate de que todos los archivos de tu conjunto train tengan train en sus nombres (lo mismo para test y validación). Incluso puedes añadir un prefijo o sufijo a train en el nombre del archivo (por ejemplo, my_train_file_00001.csv).

Para mayor comodidad, también puede colocar sus archivos de datos en directorios diferentes. En este caso, el nombre de la división se infiere a partir del nombre del directorio.

my_dataset_repository/
├── README.md
└── data/
    ├── train/
    │   ├── shard_0.csv
    │   ├── shard_1.csv
    │   ├── shard_2.csv
    │   └── shard_3.csv
    └── test/
        ├── shard_0.csv
        └── shard_1.csv

Nombre de división personalizado

Si las divisiones de tu conjunto de datos tienen nombres personalizados que no son train, test o validation, puedes nombrar tus archivos de datos como data/<split_name>-xxxxx-of-xxxxx.csv.

Aquí hay un ejemplo con tres divisiones, train, test y random:

my_dataset_repository/
├── README.md
└── data/
    ├── train-00000-of-00003.csv
    ├── train-00001-of-00003.csv
    ├── train-00002-of-00003.csv
    ├── test-00000-of-00001.csv
    ├── random-00000-of-00003.csv
    ├── random-00001-of-00003.csv
    └── random-00002-of-00003.csv