Hub documentation
데이터셋 업로드
데이터셋 업로드
Hub에는 커뮤니티가 큐레이션한 데이터셋과 연구용 데이터셋이 방대하게 모여 있습니다. ML 커뮤니티의 성장과 모든 사용자의 진전을 가속화하기 위해, 여러분이 데이터셋을 Hub에 공유해 주시기를 권장합니다. 모든 기여를 환영하며, 데이터셋을 추가하는 것은 드래그 앤 드롭만으로 가능합니다!
아직 계정이 없다면 Hugging Face Hub 계정을 생성하는 것부터 시작하세요.
Hub UI를 사용하여 업로드
Hub의 웹 기반 인터페이스를 사용하면 개발 경험이 없는 사용자도 데이터셋을 업로드할 수 있습니다.
리포지토리 생성
레포지토리는 리비전 히스토리를 포함하여 모든 데이터셋 파일을 호스팅하므로, 데이터셋의 여러 버전을 저장할 수 있습니다.
- 프로필을 클릭하고 New Dataset을 선택하여 새로운 데이터셋 저장소를 생성합니다.
- 데이터셋 이름을 지정하고 공개 데이터셋인지 비공개 데이터셋인지 선택합니다. 공개 데이터셋은 누구나 볼 수 있지만, 비공개 데이터셋은 사용자 본인 또는 조직의 구성원만 볼 수 있습니다.
데이터셋 업로드
- 리포지토리를 생성한 후, Files and versions 탭으로 이동하여 파일을 추가합니다. Add file를 선택하여 데이터셋 파일을 업로드합니다.
.csv,.mp3,.jpg와 같은 텍스트, 오디오, 이미지 및 기타 데이터 확장자를 지원합니다(전체 File formats 목록을 참조하세요).
- 데이터셋 파일을 드래그 앤 드롭하세요.
- 데이터셋 파일을 업로드하면 해당 파일은 데이터셋 저장소에 저장됩니다.
Dataset 카드 만들기
Dataset 카드를 추가하는 것은 사용자가 해당 dataset을 쉽게 찾고 책임감 있게 사용할 수 있도록 하는 데 매우 유용합니다.
- Dataset Card 만들기를 클릭하여 Dataset card를 생성합니다. 이 버튼은 저장소에
README.md파일을 생성합니다.
상단에는 Metadata UI가 있으며, license, language, task categories 등 여러 필드를 선택할 수 있습니다. 이는 Hub에서 사용자에게 데이터셋을 발견하도록 돕는 가장 중요한 태그입니다(해당하는 경우). 필드에 옵션을 선택하면 데이터셋 카드 상단에 자동으로 추가됩니다.
허용된 태그의 전체 목록을 포함하여 데이터셋에 유용한 태그를 선택하는 데 도움이 되는 Dataset Card specifications도 참고할 수 있습니다. 여기에는
annotations_creators와 같은 선택 항목도 포함되어 있습니다.
Dataset Card에 데이터셋 문서를 작성하여 커뮤니티에 데이터셋을 소개하고, 사용자가 데이터셋의 내용을 이해할 수 있도록 돕습니다. 여기에는 사용 사례와 한계, 데이터 출처, 중요한 윤리적 고려 사항, 기타 관련 세부 사항 등이 포함됩니다.
에디터 상단의 Import dataset card template 링크를 클릭하면 데이터셋 카드 템플릿이 자동으로 생성됩니다. 좋은 Dataset card의 예시를 확인하려면 CNN DailyMail Dataset card를 참고하세요.
huggingface_hub 클라이언트 라이브러리 사용
huggingface_hub 라이브러리의 풍부한 기능 집합을 사용하면 저장소를 관리할 수 있으며, 저장소 생성 및 Hub에 데이터셋 업로드가 포함됩니다. 자세한 내용은 클라이언트 라이브러리 문서를 참조하세요.
다른 라이브러리 사용
🤗 Datasets, Pandas, Polars, Dask, DuckDB, Daft와 같은 일부 라이브러리는 Hub에 파일을 업로드할 수 있습니다. 자세한 내용은 Datasets Hub에서 지원하는 라이브러리 목록을 참고하세요.
Git 사용
데이터셋 저장소는 Git 저장소이므로 Git을 사용하여 데이터 파일을 Hub에 push할 수 있습니다. 저장소 시작하기 가이드를 참고하여 git CLI를 사용해 데이터셋을 commit하고 push하는 방법을 학습하세요.
데이터셋 가져오기
데이터베이스, 클라우드 스토리지 또는 API 뒤에 있는 데이터가 있는 경우, 이를 Hugging Face에 가져와서 바로 사용할 수 있는 데이터셋으로 만들 수 있습니다.
데이터셋 가져오기 문서에서 더 많은 정보를 확인하세요.
파일 형식
Hub는 여러 파일 형식을 기본적으로 지원합니다:
- Parquet(.parquet)
- CSV (.csv, .tsv)
- JSON Lines, JSON (.jsonl, .json)
- Arrow 스트리밍 및 IPC 형식(.arrow)
- 텍스트 (.txt)
- 이미지(.png, .jpg 등)
- 오디오 (.wav, .mp3 등)
- 비디오 (.mp4, .mov, .avi 등)
- PDF (.pdf)
- WebDataset (.tar)
- Lance (.lance)
ZIP(.zip), GZIP(.gz), ZSTD(.zst), BZ2(.bz2), LZ4(.lz4), LZMA(.xz)로 압축된 파일을 지원합니다.
이미지 및 오디오 파일에는 추가 메타데이터 파일이 있을 수도 있습니다. 이미지 및 오디오 데이터셋에 대한 데이터 파일 구성과 CSV, TSV, 이미지에 대한 예제 데이터셋 모음을 참고하세요.
Hub의 모든 기능을 활용하려면 파일을 이러한 형식으로 변환하는 것이 좋습니다. 다른 형식이나 구조는 Hub에서 인식되지 않을 수 있습니다.
어떤 파일 형식을 사용해야 하나요?
대부분의 데이터셋 유형에 대해, 효율적인 압축, 풍부한 타입 정보, 그리고 최적화된 읽기 및 배치 연산을 지원하는 다양한 도구가 이 포맷을 지원하기 때문에 Parquet가 권장되는 포맷입니다. 대안으로, 표 형식 데이터에는 CSV 또는 JSON Lines/JSON을 사용할 수 있습니다(중첩 데이터의 경우 JSON Lines를 권장합니다). Parquet에 비해 파싱이 쉽지만, 수 GB를 초과하는 데이터에는 이러한 포맷을 권장하지 않습니다. 이미지 및 오디오 데이터셋의 경우, 개별 파일에 쉽게 접근할 수 있어 대부분의 사용 사례에서 원본 파일을 업로드하는 것이 가장 실용적입니다. 대규모 이미지 및 오디오 데이터셋 스트리밍의 경우, 개별 파일 접근으로 인한 오버헤드를 피하기 위해 원본 이미지 및 오디오 파일보다 WebDataset를 선호해야 합니다. 다만 분석, 데이터 필터링 또는 메타데이터 파싱을 포함하는 보다 일반적인 사용 사례의 경우, 대규모 이미지 및 오디오 데이터셋에 대해 Parquet가 권장되는 옵션입니다.
Data Studio
Data Studio는 데이터를 다운로드하기 전에 실제 데이터의 형태를 파악하는 데 유용합니다. 모든 공개 데이터셋에 기본적으로 활성화되어 있습니다. PRO 사용자 또는 Team or Enterprise organization이 소유한 비공개 데이터셋에서도 사용할 수 있습니다.
데이터셋을 업로드한 후, Dataset Viewer가 데이터를 올바르게 표시하는지 확인하거나 Dataset Viewer를 구성하세요.
대규모 데이터셋
Hugging Face Hub는 대규모 데이터셋을 지원하며, 일반적으로 Parquet(예: 🤗 Datasets를 사용하여 push_to_hub()로 업로드) 또는 WebDataset 형식으로 업로드됩니다.
huggingface_hub 라이브러리의 upload_folder() 또는 hf upload를 사용하여 큰 폴더를 업로드하세요. 업로드를 여러 커밋으로 나누고 중단 시 자동으로 재개합니다.
대형 폴더 업로드 방법, 대형 업로드 팁 및 트릭, 저장소 저장 용량 한도 및 권장 사항을 확인하세요.
Update on GitHub