Mengunduh dataset

Perpustakaan terintegrasi

Jika dataset di Hub terhubung dengan library yang didukung, memuat dataset dapat dilakukan hanya dalam beberapa baris. Untuk informasi tentang cara mengakses dataset, Anda dapat mengklik tombol “Use this dataset” di halaman dataset untuk melihat caranya. Sebagai contoh, samsum menunjukkan cara melakukannya dengan datasets di bawah ini.

Menggunakan Perpustakaan Klien Hugging Face

Anda dapat menggunakan pustaka huggingface_hub untuk membuat, menghapus, memperbarui, dan mengambil informasi dari repositori. Misalnya, untuk mengunduh dataset HuggingFaceH4/ultrachat_200k dari baris perintah, jalankan

hf download HuggingFaceH4/ultrachat_200k --repo-type dataset

Lihat dokumentasi unduhan HF CLI untuk informasi lebih lanjut.

Anda juga dapat mengintegrasikan ini ke dalam pustaka Anda sendiri! Misalnya, Anda dapat dengan cepat memuat dataset CSV dengan beberapa baris menggunakan Pandas.

from huggingface_hub import hf_hub_download
import pandas as pd

REPO_ID = "YOUR_REPO_ID"
FILENAME = "data.csv"

dataset = pd.read_csv(
    hf_hub_download(repo_id=REPO_ID, filename=FILENAME, repo_type="dataset")
)

Menggunakan Git

Karena semua dataset di Hub adalah repositori Git yang didukung Xet, Anda dapat mengkloning dataset secara lokal dengan memasang git-xet dan menjalankan:

git xet install
git lfs install
git clone git@hf.co:datasets/<dataset ID> # example: git clone git@hf.co:datasets/allenai/c4

Jika Anda memiliki akses tulis ke repositori dataset tertentu, Anda juga akan memiliki kemampuan untuk melakukan commit dan push revisi ke dataset tersebut.

Tambahkan kunci SSH publik Anda ke pengaturan pengguna Anda untuk mendorong perubahan dan/atau mengakses repositori privat.

Unduhan lebih cepat

Anda dapat menguji kecepatan unduhan dari CDN Hugging Face di fast.hf.co. Ini menjalankan pengujian bandwidth singkat terhadap server edge HF terdekat, membantu Anda memahami throughput dasar Anda. Anda juga dapat mengukur kecepatan unduhan dari terminal menggunakan ekstensi CLI hf-speedtest:

hf extensions install julien-c/hf-speedtest
hf speedtest

Untuk transfer yang lebih cepat, Hub menggunakan backend penyimpanan Xet dengan konkurensi adaptif yang secara otomatis menyesuaikan stream paralel berdasarkan kondisi jaringan. Lihat Unduhan model yang lebih cepat untuk detail tentang opsi penyetelan seperti HF_XET_HIGH_PERFORMANCE=1.

Menggunakan hf-mount

Untuk dataset besar, Anda dapat memount repo sebagai filesystem lokal dengan hf-mount alih-alih mengunduh seluruh repo. File diambil secara lazy — hanya byte yang dibaca oleh kode Anda yang menyentuh jaringan. Berguna ketika workflow Anda mengharapkan path file lokal (mis. tarfile, zipfile, imagefolder) alih-alih iterator Python.

brew install hf-mount
hf-mount start repo datasets/stanfordnlp/imdb /tmp/imdb

Repos dimount sebagai read-only. Lihat Mount as a Local Filesystem untuk detail setup lengkap, opsi backend, dan caching.

Mengunduh di balik proxy atau firewall

Jika jaringan Anda membatasi lalu lintas keluar melalui firewall atau proxy, mengunduh dataset membutuhkan lebih dari sekadar huggingface.co. Isi file disajikan dari hostname penyimpanan dan CDN yang terpisah, dan load_dataset / hf download akan gagal jika hostname tersebut tidak dapat dijangkau, bahkan ketika huggingface.co sendiri sudah diizinkan.

Izinkan hostname berikut (semuanya melalui HTTPS / port 443):

Unduhan mengikuti pengalihan HTTP dari huggingface.co ke nama host ini, sehingga mengizinkan hanya huggingface.co saja tidak cukup. ReadTimeoutError (bukan error koneksi) di tengah unduhan biasanya berarti koneksi awal berhasil tetapi host penyimpanan atau CDN diblokir.

Perilaku wildcard bergantung pada cara proxy Anda mencocokkan domain. Banyak proxy perusahaan memperlakukan entri allowlist sebagai pencocokan sufiks yang mencakup subdomain pada kedalaman apa pun. Jika proxy Anda melakukannya, opsi paling sederhana adalah mengizinkan sufiks hf.co dan huggingface.co — ini mencakup semua endpoint penyimpanan dan CDN saat ini maupun di masa depan.

Jika proxy Anda hanya mendukung wildcard berlabel tunggal (di mana *.hf.co cocok dengan cdn-lfs-us-1.hf.co tetapi tidak dengan yang lebih dalam seperti us.aws.cdn.hf.co atau cas-server.xethub.hf.co), masukkan hostname eksplisit dari tabel di atas ke allowlist. Perhatikan bahwa *.xethub.hf.co tidak menutupi host EU di bawah xethub-eu.hf.co, dan *.cdn.hf.co tidak menutupi dua label us.aws.cdn.hf.co / us.gcp.cdn.hf.co.

Hostname ini dapat berubah seiring dengan evolusi infrastruktur penyimpanan dan CDN kami. Jika kebijakan keamanan Anda mengizinkan, izinkan sufiks hf.co dan huggingface.co (semua subdomain) agar aturan Anda tidak rusak ketika endpoint tertentu berubah.

Daftar yang dapat dibaca mesin

Hostname di atas juga dipublikasikan sebagai JSON di https://huggingface.co/.well-known/meta.json, sehingga Anda dapat membuat aturan proxy atau firewall darinya alih-alih menyalin tabel secara manual.

File berubah saat endpoint ditambahkan dan dihapus. Ambil file tersebut saat Anda membangun aturan Anda, bukan dengan mengunci salinannya.