Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Xet: nuestro backend de almacenamiento

Los repositorios en el Hugging Face Hub son diferentes de los de las plataformas de desarrollo de software. Contienen archivos que son:

Grande - los archivos de modelos o conjuntos de datos están en el rango de GB y superiores. ¡Tenemos algunos archivos a escala de TB!
Binario: no está en un formato legible por humanos de forma predeterminada (p. ej., Safetensors o Parquet)

Aunque el Hub aprovecha el control de versiones moderno con el soporte de Git, estas diferencias hacen que los repositorios de Model y Dataset sean bastante distintos de aquellos que contienen solo código fuente.

Almacenar estos archivos directamente en un repositorio Git puro no es práctico. No solo los sistemas de almacenamiento típicos detrás de los repositorios Git no están diseñados para este tipo de archivos, sino que al clonar un repositorio, Git recupera todo el historial, incluidas todas las revisiones de los archivos. Esto puede ser prohibitivamente grande para binarios masivos, obligándote a descargar gigabytes de datos históricos que quizás nunca necesites.

En su lugar, en el Hub, estos archivos grandes se rastrean mediante “archivos puntero” y se identifican a través de un archivo .gitattributes (ambos se discuten con más detalle a continuación), que permanecen en el repositorio Git mientras que los datos reales se almacenan en almacenamiento remoto (como Amazon S3). Como resultado, el repositorio se mantiene pequeño y los flujos de trabajo típicos de Git siguen siendo eficientes.

Históricamente, los repositorios de Hub han dependido de Git LFS para este mecanismo. Si bien Git LFS sigue siendo compatible (consulte Compatibilidad con versiones anteriores y legado), Hub ha adoptado Xet, un sistema de almacenamiento personalizado y moderno diseñado específicamente para el desarrollo de IA/ML. Permite la deduplicación a nivel de fragmentos, cargas más pequeñas y descargas más rápidas que Git LFS.

Protocolo Xet de código abierto

Si desea comprender el protocolo Xet subyacente o está buscando crear una nueva biblioteca de cliente para acceder a Xet Storage, consulte la Especificación del protocolo Xet.

En estas páginas aprenderás a empezar a usar Xet Storage.

Contenido

Update on GitHub

←Límites de almacenamiento Historial y descripción general de Xet→