加载方法

datasets.load_dataset

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

参数

path (str) — 数据集的路径或名称。如果 path 是 HF hub 上的数据集仓库（使用 huggingface_hub.list_datasets 列出所有可用数据集）-> 从仓库中受支持的文件（csv、json、parquet 等）加载数据集，例如 'username/dataset_name'，即 HF hub 上包含数据文件的数据集仓库。如果 path 是 HF Hub 上 Storage Bucket 内的目录（使用 huggingface_hub.list_buckets 列出您的存储桶）-> 从该目录中受支持的文件（csv、json、parquet 等）加载数据集，例如 'buckets/username/bucket_name/my_dataset'。如果 path 是本地目录 -> 从该目录中受支持的文件（csv、json、parquet 等）加载数据集，例如 './path/to/directory/with/my/csv/data'。如果 path 是数据集构建器的名称，并且指定了 data_files 或 data_dir（可用的构建器包括 “json”、“csv”、“parquet”、“arrow”、“text”、“xml”、“webdataset”、“imagefolder”、“audiofolder”、“videofolder”、“meshfolder”）-> 从 data_files 或 data_dir 中的文件加载数据集，例如 'parquet'。使用 hf:// 路径（如 'hf://datasets/username/dataset_name'）以仅允许远程访问。使用绝对路径以仅允许本地访问。
- 如果 path 是 HF hub 上的数据集仓库（使用 huggingface_hub.list_datasets 列出所有可用数据集） -> 从仓库中受支持的文件（csv、json、parquet 等）加载数据集例如 'username/dataset_name'，即 HF hub 上包含数据文件的数据集仓库。
- 如果 path 是 HF Hub 上存储桶内的一个目录（使用 huggingface_hub.list_buckets 列出您的存储桶） -> 从该目录中受支持的文件（csv、json、parquet 等）加载数据集例如 'buckets/username/bucket_name/my_dataset'。
- 如果 path 是本地目录 -> 从目录中受支持的文件（csv、json、parquet 等）加载数据集例如 './path/to/directory/with/my/csv/data'。
- 如果 path 是数据集构建器的名称，并且指定了 data_files 或 data_dir （可用的构建器包括 “json”、“csv”、“parquet”、“arrow”、“text”、“xml”、“webdataset”、“imagefolder”、“audiofolder”、“videofolder”、“meshfolder”） -> 从 data_files 或 data_dir 中的文件加载数据集例如 'parquet'。
使用 hf:// 路径，例如 'hf://datasets/username/dataset_name'，以仅允许远程访问。使用绝对路径以仅允许本地访问。
name (str, 可选) — 定义数据集配置的名称。
data_dir (str, 可选) — 定义数据集配置的 data_dir。如果为通用构建器（csv、text 等）或 Hub 数据集指定了该参数，且 data_files 为 None，其行为等同于将 os.path.join(data_dir, **) 作为 data_files 传入，以引用目录中的所有文件。
data_files (str 或 Sequence 或 Mapping，可选) — 源数据文件的路径。
split (Split 或 str) — 要加载的数据集划分。如果为 None，将返回一个包含所有划分的 dict（通常为 datasets.Split.TRAIN 和 datasets.Split.TEST）。如果指定了值，将返回单个 Dataset。划分可以组合，并像 tensorflow-datasets 中那样指定。
cache_dir (str, 可选) — 用于读取/写入数据的目录。默认为 "~/.cache/huggingface/datasets"。
features (Features，可选) — 设置此数据集使用的特征类型。
download_config (DownloadConfig，可选) — 特定的下载配置参数。
download_mode (DownloadMode 或 str，默认为 REUSE_DATASET_IF_EXISTS) — 下载/生成模式。
verification_mode (VerificationMode 或 str, 默认为 BASIC_CHECKS) — 验证模式，用于确定在下载/处理数据集信息（校验和/大小/分片/…）时运行的检查。

2.9.1 版本新增
keep_in_memory (bool，默认为 None) — 是否将数据集复制到内存中。如果为 None，除非通过将 datasets.config.IN_MEMORY_MAX_SIZE 设置为非零值来显式启用，否则不会将数据集复制到内存中。更多详情请参见提升性能部分。
revision (Version 或 str，可选) — 要加载的数据集版本。由于数据集在 Datasets Hub 上拥有自己的 git 仓库，默认版本“main”对应其“main”分支。您可以通过使用数据集仓库的 commit SHA 或 git tag 来指定不同于默认“main”的版本。
token (str 或 bool，可选) — 用于 Datasets Hub 上远程文件的 Bearer token 的可选字符串或布尔值。如果为 True 或未指定，则从 "~/.huggingface" 获取 token。
streaming (bool, 默认为 False) — 如果设置为 True, ，则不下载数据文件。相反，在迭代数据集时，它会以流式方式逐步传输数据。此时返回的是 IterableDataset 或 IterableDatasetDict 。
请注意，流式处理适用于使用支持迭代的数据格式的数据集，例如 txt、csv、jsonl 等。 Json 文件可能会被完整下载。此外，支持从远程 zip 或 gzip 文件进行流式处理，但尚不支持其他压缩格式，例如 rar 和 xz。tgz 格式不允许流式处理。
num_proc (int, 可选, 默认为 None) — 在本地下载和生成数据集时使用的进程数。默认情况下禁用多进程。

2.7.0 版本新增
storage_options (dict, 可选, 默认为 None) — 实验性. 要传递给数据集文件系统后端的键值对（如果存在）。

2.11.0 版本新增
**config_kwargs（附加关键字参数） — 传递给 BuilderConfig 并在 DatasetBuilder 中使用的关键字参数。

返回值

Dataset 或 DatasetDict

如果 split 不是 None：请求的数据集，
如果 split 为 None，则返回一个包含每个 split 的 DatasetDict。

或 IterableDataset 或 IterableDatasetDict：如果 streaming=True

如果 split 不是 None，则会请求该数据集
如果 split 为 None，则返回一个包含每个 split 的 ~datasets.streaming.IterableDatasetDict。

从 Hugging Face Hub 或本地加载数据集。

您可以在 Hub 上或通过 huggingface_hub.list_datasets 找到数据集列表。

数据集是一个目录，其中包含一些通用格式（JSON、CSV、Parquet 等）的数据文件，并且可能采用通用结构（Webdataset、ImageFolder、AudioFolder、VideoFolder、MeshFolder 等）。

该函数在底层执行以下操作：

加载数据集构建器：
- 找到数据集中最常见的数据格式，并选择其对应的构建器（JSON、CSV、Parquet、Webdataset、ImageFolder、AudioFolder、MeshFolder 等）。
- 根据文件和目录名称或 YAML 配置，查找哪些文件属于哪个数据划分（例如 train/test）
- 也可以手动指定data_files以及要使用的数据集构建器（例如“parquet”）。
运行数据集构建器：

在一般情况下：
- 如果数据文件在本地或缓存中尚不可用，请从数据集中下载它们。
- 处理数据集并将其缓存为带类型的 Arrow 表，以便进行缓存。
  
  Arrow 表是任意长度的类型化表，可以存储嵌套对象，并映射到 numpy/pandas/python 通用类型。它们可以直接从磁盘访问、加载到内存中，甚至可以通过网络进行流式传输。
在流式传输的情况下：
- 请勿下载或缓存任何内容。相反，数据集会采用惰性加载方式，在迭代时按需实时流式传输。
返回一个由split（默认：全部）中请求的拆分构建而成的数据集。

示例：

从 Hugging Face Hub 加载数据集：

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

从 Hugging Face Hub 上的存储桶加载数据集：

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

加载本地数据集：

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

加载一个 IterableDataset：

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

使用 ImageFolder 数据集构建器加载图像数据集：

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

Datasets

数据集

datasets.load_dataset

datasets.load_from_disk

datasets.load_dataset_builder

datasets.get_dataset_config_names

datasets.get_dataset_infos

datasets.get_dataset_split_names

从文件

文本

class datasets.packaged_modules.text.TextConfig

类 datasets.packaged_modules.text.Text

CSV

类 datasets.packaged_modules.csv.CsvConfig

类 datasets.packaged_modules.csv.Csv

JSON

类 datasets.packaged_modules.json.JsonConfig

类 datasets.Json

XML

类 datasets.packaged_modules.xml.XmlConfig

类 datasets.packaged_modules.xml.Xml

Parquet

类 datasets.packaged_modules.parquet.ParquetConfig

类 datasets.packaged_modules.parquet.Parquet

Arrow

类 datasets.packaged_modules.arrow.ArrowConfig

类 datasets.packaged_modules.arrow.Arrow

Vortex

类 datasets.packaged_modules.vortex.VortexConfig

class datasets.packaged_modules.vortex.Vortex

SQL

类 datasets.packaged_modules.sql.SqlConfig

类 datasets.packaged_modules.sql.Sql

图像

类 datasets.packaged_modules.imagefolder.ImageFolderConfig

类 datasets.packaged_modules.imagefolder.ImageFolder

音频

类 datasets.packaged_modules.audiofolder.AudioFolderConfig

类 datasets.packaged_modules.audiofolder.AudioFolder

视频

类 datasets.packaged_modules.videofolder.VideoFolderConfig

类 datasets.packaged_modules.videofolder.VideoFolder

HDF5

类 datasets.packaged_modules.hdf5.HDF5Config

类 datasets.packaged_modules.hdf5.HDF5

TsFile

class datasets.packaged_modules.tsfile.TsFileConfig

class datasets.packaged_modules.tsfile.TsFile

Pdf

类 datasets.packaged_modules.pdffolder.PdfFolderConfig

class datasets.packaged_modules.pdffolder.PdfFolder

Nifti

类 datasets.packaged_modules.niftifolder.NiftiFolderConfig

类 datasets.packaged_modules.niftifolder.NiftiFolder

WebDataset

类 datasets.packaged_modules.webdataset.WebDataset

Harbor

class datasets.packaged_modules.harbor.HarborConfig

class datasets.packaged_modules.harbor.Harbor