Datasets documentation

Classes de construtor

Datasets

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Classes de construtor

Criadores

🤗 O Datasets depende de duas classes principais durante o processo de construção do dataset: DatasetBuilder e BuilderConfig.

classe datasets.DatasetBuilder

< source >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parâmetros

cache_dir (str, opcional) — Diretório para armazenar os dados em cache. O padrão é "~/.cache/huggingface/datasets".
dataset_name (str, opcional) — Nome do dataset, caso seja diferente do nome do builder. Útil para builders empacotados como csv, imagefolder, audiofolder, etc., para refletir a diferença entre datasets que usam o mesmo builder empacotado.
config_name (str, opcional) — Nome da configuração do dataset. Ele afeta os dados gerados no disco. Diferentes configurações terão seus próprios subdiretórios e versões. Se não for fornecido, a configuração padrão será usada (se existir).

Adicionado na 2.3.0

O parâmetro name foi renomeado para config_name.
hash (str, opcional) — Hash específico para o código do construtor do dataset. Usado para atualizar o diretório de cache quando o código do construtor do dataset é atualizado (para evitar reutilizar dados antigos). O diretório de cache típico (definido em self._relative_data_dir) é name/version/hash/.
base_path (str, opcional) — Caminho base para caminhos relativos usados para baixar arquivos. Isso pode ser uma URL remota.
features (Features, opcional) — Tipos de Features a serem usados com este dataset. Pode ser usado para alterar os tipos de Features de um dataset, por exemplo.
token (str ou bool, opcional) — String ou booleano para usar como token Bearer para arquivos remotos no Datasets Hub. Se True, o token será obtido de "~/.huggingface".
repo_id (str, opcional) — ID do repositório do conjunto de dados. Usado para distinguir builders com o mesmo nome, mas que não pertencem ao mesmo namespace, por exemplo, os IDs de repositório “rajpurkar/squad” e “lhoestq/squad”. Neste último, o nome do builder seria “lhoestq___squad”.
data_files (str ou Sequence ou Mapping, opcional) — Caminho(s) para o(s) arquivo(s) de dados de origem. Para builders como “csv” ou “json” que exigem que o usuário especifique os arquivos de dados. Podem ser arquivos locais ou remotos. Para conveniência, você pode usar um DataFilesDict.
data_dir (str, opcional) — Caminho para o diretório que contém o(s) arquivo(s) de dados de origem. Use apenas se data_files não for passado, caso em que é equivalente a passar os.path.join(data_dir, "**") como data_files. Para builders que exigem download manual, deve ser o caminho para o diretório local que contém os dados baixados manualmente.
storage_options (dict, opcional) — Pares de chave/valor a serem passados para o backend de sistema de arquivos do dataset, se houver.
writer_batch_size (int, opcional) — Tamanho do lote usado pelo ArrowWriter. Ele define o número de amostras mantidas em memória antes de serem gravadas e também o comprimento dos blocos arrow. None significa que o ArrowWriter usará seu valor padrão.
**config_kwargs (argumentos de palavra-chave adicionais) — Argumentos de palavra-chave a serem passados para a classe de configuração do builder correspondente, definida no atributo de classe DatasetBuilder.BUILDER_CONFIG_CLASS. A classe de configuração do builder é BuilderConfig ou uma subclasse dela.

Classe base abstrata para todos os conjuntos de dados.

DatasetBuilder tem 3 métodos principais:

DatasetBuilder.info: Documenta o conjunto de dados, incluindo nomes, tipos, formas, versão, divisões, citação, etc.
DatasetBuilder.download_and_prepare(): baixa os dados de origem e os grava em disco.
DatasetBuilder.as_dataset(): Gera um Dataset.

Alguns DatasetBuilders expõem múltiplas variantes do dataset ao definir uma subclasse de BuilderConfig e aceitar um objeto de configuração (ou nome) na construção. Datasets configuráveis expõem um conjunto predefinido de configurações em DatasetBuilder.builder_configs().

as_dataset

< source >

( split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonein_memory = False )

Parâmetros

split (datasets.Split) — Qual subconjunto dos dados deve ser retornado.
verification_mode (VerificationMode ou str, padrão é BASIC_CHECKS) — Modo de verificação que determina as verificações a serem executadas nas informações do dataset baixado/processado (checksums/tamanho/splits/…).

Adicionado na 2.9.1
in_memory (bool, padrão False) — Se deve copiar os dados em memória.

Retorne um Dataset para o split especificado.

Exemplo:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> builder.download_and_prepare()
>>> ds = builder.as_dataset(split='train')
>>> ds
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

download_and_prepare

< source >

( output_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonedl_manager: typing.Optional[datasets.download.download_manager.DownloadManager] = Nonebase_path: typing.Optional[str] = Nonefile_format: str = 'arrow'max_shard_size: typing.Union[str, int, NoneType] = Nonenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**download_and_prepare_kwargs )

Parâmetros

output_dir (str, opcional) — Diretório de saída para o conjunto de dados. Padrão: o cache_dir, deste builder, que fica dentro de ~/.cache/huggingface/datasets por padrão.

Adicionado na 2.5.0
download_config (DownloadConfig, opcional) — Parâmetros específicos de configuração de download.
download_mode (DownloadMode ou str, opcional) — Seleciona o modo de download/geração, padrão é REUSE_DATASET_IF_EXISTS.
verification_mode (VerificationMode ou str, padrão é BASIC_CHECKS) — Modo de verificação que determina as verificações a serem executadas nas informações do dataset baixado/processado (checksums/tamanho/splits/…).

Adicionado na 2.9.1
dl_manager (DownloadManager, opcional) — DownloadManger específico a ser usado.
base_path (str, opcional) — Caminho base para caminhos relativos usados para baixar arquivos. Isso pode ser uma URL remota. Se não for especificado, o valor do atributo base_path (self.base_path) será usado em vez disso.
file_format (str, opcional) — Formato dos arquivos de dados nos quais o conjunto de dados será gravado. Formatos suportados: “arrow”, “parquet”. O padrão é o formato “arrow”. Se o formato for “parquet”, os dados de imagem e áudio serão incorporados nos arquivos Parquet em vez de apontar para arquivos locais.

Adicionado na 2.5.0
max_shard_size (Union[str, int], opcional) — Número máximo de bytes gravados por shard, o padrão é “500MB”. O tamanho é baseado no tamanho dos dados descomprimidos, portanto, na prática, seus arquivos de shard podem ser menores que max_shard_size devido à compressão Parquet, por exemplo.

Adicionado na 2.5.0
num_proc (int, opcional, padrão é None) — Número de processos ao baixar e gerar o dataset localmente. O multiprocessing é desabilitado por padrão.

Adicionado na 2.7.0
storage_options (dict, opcional) — Pares de chave/valor a serem passados para o backend de sistema de arquivos de cache, se houver.

Adicionado na 2.5.0
**download_and_prepare_kwargs (argumentos de palavra-chave adicionais) — Argumentos de palavra-chave.

Baixa e prepara o conjunto de dados para leitura.

Exemplo:

Baixe e prepare o conjunto de dados como arquivos Arrow que podem ser carregados como um Dataset usando builder.as_dataset():

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare()

Baixe e prepare o conjunto de dados como arquivos Parquet segmentados localmente:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("./output_dir", file_format="parquet")

Baixe e prepare o conjunto de dados como arquivos Parquet segmentados em um armazenamento em nuvem:

>>> from datasets import load_dataset_builder
>>> storage_options = {"key": aws_access_key_id, "secret": aws_secret_access_key}
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("s3://my-bucket/my_rotten_tomatoes", storage_options=storage_options, file_format="parquet")

get_imported_module_dir

< source >

( )

Retorna o caminho do módulo desta classe ou subclasse.

classe datasets.GeneratorBasedBuilder

< source >

Classe base para conjuntos de dados com geração de dados baseada em geradores de dicionário.

GeneratorBasedBuilder é uma classe de conveniência que abstrai grande parte da escrita e leitura de dados do DatasetBuilder. Ela espera que as subclasses implementem geradores de dicionários de recursos para as divisões do conjunto de dados (_split_generators). Consulte as docstrings dos métodos para mais detalhes.

classe datasets.ArrowBasedBuilder

< source >

Classe base para conjuntos de dados com geração de dados baseada em funções de carregamento do Arrow (CSV/JSON/Parquet).

classe datasets.BuilderConfig

< source >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = None )

Parâmetros

name (str, padrão default) — O nome da configuração.
version (Version ou str, padrão 0.0.0) — A versão da configuração.
data_dir (str, opcional) — Caminho para o diretório que contém os dados de origem.
data_files (str ou Sequence ou Mapping, opcional) — Caminho(s) para o(s) arquivo(s) de dados de origem.
description (str, opcional) — Uma descrição em linguagem natural da configuração.

Classe base para a configuração de dados do DatasetBuilder.

Subclasses de DatasetBuilder com opções de configuração de dados devem subclassar BuilderConfig e adicionar suas próprias propriedades.

create_config_id

< source >

( config_kwargs: dictcustom_features: typing.Optional[datasets.features.features.Features] = None )

O id da config é usado para construir o diretório de cache. Por padrão, ele é igual ao nome da config. No entanto, o nome de uma config não é suficiente para ter um identificador único para o conjunto de dados sendo gerado, pois ele não leva em consideração:

os kwargs de configuração que podem ser usados para sobrescrever atributos
os recursos personalizados usados para escrever o conjunto de dados
os data_files para conjuntos de dados json/texto/csv/pandas

Portanto, o id da config é apenas o nome da config com um sufixo opcional baseado nesses.

Download

classe datasets.DownloadManager

< source >

( dataset_name: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonebase_path: typing.Optional[str] = Nonerecord_checksums = False )

download

< source >

( url_or_urls ) → str or list or dict

Parâmetros

url_or_urls (str ou list ou dict) — URL ou list ou dict de URLs para download. Cada URL é um str.

Retorna

str ou list ou dict

Os caminhos baixados que correspondem à entrada url_or_urls fornecida.

Baixe o(s) URL(s) fornecido(s).

Por padrão, apenas um processo é usado para o download. Passe um download_config.num_proc personalizado para alterar esse comportamento.

Exemplo:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

download_and_extract

< source >

( url_or_urls ) → extracted_path(s)

Parâmetros

url_or_urls (str ou list ou dict) — URL ou list ou dict de URLs para baixar e extrair. Cada URL é um str.

Retorna

extracted_path(s)

str, caminhos extraídos das URL(s) fornecidas.

Baixe e extraia o(s) url_or_urls fornecido(s).

É aproximadamente equivalente a:

extracted_paths = dl_manager.extract(dl_manager.download(url_or_urls))

extract

< source >

( path_or_paths ) → extracted_path(s)

Parâmetros

path_or_paths (caminho ou list ou dict) — Caminho do arquivo a ser extraído. Cada caminho é um str.

Retorna

extracted_path(s)

str, Os caminhos extraídos que correspondem ao caminho de entrada path_or_paths.

Extrai o(s) caminho(s) dado(s).

Exemplo:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

< source >

( path_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

Parâmetros

path_or_buf (str ou io.BufferedReader) — Caminho do arquivo de arquivo ou objeto de arquivo binário de arquivo.

Rendimentos

tuple[str, io.BufferedReader]

2-tupla (path_within_archive, file_object). O objeto de arquivo é aberto em modo binário.

Iterar sobre os arquivos dentro de um arquivo compactado.

Exemplo:

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

< source >

( paths: typing.Union[str, list[str]] ) → str

Parâmetros

paths (str ou list de str) — Caminhos raiz.

Rendimentos

str

Caminho do arquivo.

Iterar sobre os caminhos dos arquivos.

Exemplo:

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

classe datasets.StreamingDownloadManager

< source >

Gerenciador de download que usa o separador ”::” para navegar por arquivos compactados (possivelmente remotos). Ao contrário do DownloadManager regular, os métodos download e extract não baixam nem extraem dados de fato, mas retornam o caminho ou a URL que pode ser aberto usando a função xopen, que estende a função open integrada para transmitir dados de arquivos remotos.

download

< source >

( url_or_urls ) → url(s)

Parâmetros

url_or_urls (str ou list ou dict) — URL(s) de arquivos para transmitir dados. Cada url é um str.

Retorna

url(s)

(str ou list ou dict), URL(s) para transmitir dados correspondentes à(s) url_or_urls de entrada fornecida(s).

Normaliza a URL ou as URLs dos arquivos de onde os dados serão transmitidos. Esta é a versão preguiçosa de DownloadManager.download para streaming.

Exemplo:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

download_and_extract

< source >

( url_or_urls ) → url(s)

Parâmetros

url_or_urls (str ou list ou dict) — URL(s) de onde transmitir os dados. Cada url é um str.

Retorna

url(s)

(str ou list ou dict), URL(s) para transmitir dados correspondentes à entrada url_or_urls fornecida.

Prepara o url_or_urls fornecido para streaming (adiciona o protocolo de extração).

Esta é a versão preguiçosa de DownloadManager.download_and_extract para streaming.

É equivalente a:

urls = dl_manager.extract(dl_manager.download(url_or_urls))

extract

< source >

( url_or_urls ) → url(s)

Parâmetros

url_or_urls (str ou list ou dict) — URL(s) de arquivos para transmitir dados. Cada url é um str.

Retorna

url(s)

(str ou list ou dict), URL(s) para transmitir dados correspondentes à entrada url_or_urls fornecida.

Adicione o protocolo de extração para a(s) URL(s) fornecida(s) para streaming.

Esta é a versão preguiçosa de DownloadManager.extract para streaming.

Exemplo:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

< source >

( urlpath_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

Parâmetros

urlpath_or_buf (str ou io.BufferedReader) — Caminho do arquivo de arquivo ou objeto de arquivo binário de arquivo.

Rendimentos

tuple[str, io.BufferedReader]

2-tupla (path_within_archive, file_object). O objeto de arquivo é aberto em modo binário.

Iterar sobre os arquivos dentro de um arquivo compactado.

Exemplo:

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

< source >

( urlpaths: typing.Union[str, list[str]] ) → str

Parâmetros

urlpaths (str ou list de str) — Caminhos raiz.

Rendimentos

str

Caminho da URL do arquivo.

Iterar sobre os arquivos.

Exemplo:

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

classe datasets.DownloadConfig

< source >

( cache_dir: typing.Union[str, pathlib.Path, NoneType] = Noneforce_download: bool = Falseresume_download: bool = Falselocal_files_only: bool = Falseproxies: typing.Optional[dict] = Noneuser_agent: typing.Optional[str] = Noneextract_compressed_file: bool = Falseforce_extract: bool = Falsedelete_extracted: bool = Falseextract_on_the_fly: bool = Falseuse_etag: bool = Truenum_proc: typing.Optional[int] = Nonemax_retries: int = 1token: typing.Union[str, bool, NoneType] = Nonestorage_options: dict = <factory>download_desc: typing.Optional[str] = Nonedisable_tqdm: bool = False )

Parâmetros

cache_dir (str ou Path, opcional) — Especifica um diretório de cache para salvar o arquivo (sobrescreve o diretório de cache padrão).
force_download (bool, padrão False) — Se True, baixa o arquivo novamente, mesmo que ele já esteja em cache no diretório de cache.
resume_download (bool, padrão False) — Se True, retoma o download se um arquivo recebido de forma incompleta for encontrado.
proxies (dict, opcional) — Descontinuado e ignorado. Defina as variáveis de ambiente HTTP_PROXY / HTTPS_PROXY ou configure o cliente HTTP com huggingface_hub.set_client_factory em vez disso.
user_agent (str, opcional) — String ou dicionário opcional que será adicionado ao user-agent em solicitações remotas.
extract_compressed_file (bool, padrão False) — Se True e o caminho apontar para um arquivo zip ou tar, extrai o arquivo compactado em uma pasta ao lado do arquivo compactado.
force_extract (bool, padrão False) — Se True quando extract_compressed_file é True e o arquivo já foi extraído, extrai o arquivo novamente e substitui a pasta onde ele foi extraído.
delete_extracted (bool, padrão False) — Se os arquivos extraídos devem ser excluídos (ou mantidos).
extract_on_the_fly (bool, padrão False) — Se True, extrai os arquivos compactados enquanto estão sendo lidos.
use_etag (bool, padrão True) — Se deve usar o cabeçalho de resposta HTTP ETag para validar os arquivos em cache.
num_proc (int, opcional) — O número de processos a serem iniciados para baixar os arquivos em paralelo.
max_retries (int, padrão 1) — O número de vezes para tentar novamente uma requisição HTTP caso ela falhe.
token (str ou bool, opcional) — String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se True, ou não especificado, obterá o token de ~/.huggingface.
storage_options (dict, opcional) — Pares de chave/valor a serem passados para o backend de sistema de arquivos do dataset, se houver.
download_desc (str, opcional) — Uma descrição para ser exibida junto com a barra de progresso durante o download dos arquivos.
disable_tqdm (bool, padrão False) — Se deve desativar a barra de progresso do download dos arquivos individuais

Configuração para nosso gerenciador de caminhos em cache.

classe datasets.DownloadMode

< source >

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Enum para definir como tratar downloads e dados existentes.

O modo padrão é REUSE_DATASET_IF_EXISTS, que reutilizará tanto os downloads brutos quanto o dataset preparado, caso existam.

Os modos de geração:

	Downloads	Conjunto de dados
`REUSE_DATASET_IF_EXISTS` (padrão)	Reutilização	Reutilização
`REUSE_CACHE_IF_EXISTS`	Reutilização	Novo
`FORCE_REDOWNLOAD`	Novo	Novo

Verificação

classe datasets.VerificationMode

< source >

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Enum que especifica quais verificações de verificação devem ser executadas.

O modo padrão é BASIC_CHECKS, que executa apenas verificações rudimentares para evitar atrasos ao gerar/baixar um dataset pela primeira vez.

Os modos de verificação:

	Verificações
`ALL_CHECKS`	Verificação de integridade (número de arquivos, checksums) dos arquivos baixados
`BASIC_CHECKS` (padrão)	Igual a `ALL_CHECKS`, mas sem verificar os arquivos baixados
`NO_CHECKS`	None

Divisões

classe datasets.SplitGenerator

< source >

( name: strgen_kwargs: dict = <factory> )

Parâmetros

name (str) — Nome do Split para o qual o gerador criará os exemplos.
**gen_kwargs (argumentos de palavra-chave adicionais) — Argumentos de palavra-chave para encaminhar ao método DatasetBuilder._generate_examples do builder.

Define as informações de divisão para o gerador.

Isso deve ser usado como valor de retorno de GeneratorBasedBuilder._split_generators. Veja GeneratorBasedBuilder._split_generators para mais informações e um exemplo de uso.

Exemplo:

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and_extract(url)},
... )

classe datasets.Split

< source >

( name )

Enum para as divisões do conjunto de dados.

Os conjuntos de dados são tipicamente divididos em diferentes subconjuntos para serem usados em várias etapas de treinamento e avaliação.

TRAIN: os dados de treinamento.
VALIDATION: os dados de validação. Se presentes, são tipicamente usados como dados de avaliação durante a iteração em um modelo (por exemplo, ao alterar hiperparâmetros, arquitetura do modelo, etc.).
TEST: os dados de teste. Este é o conjunto de dados sobre o qual as métricas são reportadas. Normalmente, você não deve usá-lo durante a iteração do modelo, pois pode haver sobreajuste a ele.
ALL: a união de todos os splits de dataset definidos.

Todos os splits, incluindo composições, herdam de datasets.SplitBase.

Consulte o guia sobre splits para mais informações.

Exemplo:

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.VALIDATION,
...     gen_kwargs={"split_key": "validation", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.TEST,
...     gen_kwargs={"split_key": "test", "files": dl_manager.download_and extract(url)},
... )

classe datasets.NamedSplit

< source >

( name: str )

Descriptor correspondente a uma divisão nomeada (train, test, …).

Exemplo:

Cada descritor pode ser composto com outros usando adição ou fatiamento:

split = datasets.Split.TRAIN.subsplit(datasets.percent[0:25]) + datasets.Split.TEST

A divisão resultante corresponderá a 25% da divisão de treinamento mesclada com 100% da divisão de teste.

Não é possível adicionar uma divisão duas vezes, portanto o seguinte falhará:

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TRAIN.subsplit(datasets.percent[75:])
)  # Error
split = datasets.Split.TEST + datasets.Split.ALL  # Error

Os fatiamentos podem ser aplicados apenas uma vez. Portanto, os seguintes são válidos:

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TEST.subsplit(datasets.percent[:50])
)
split = (datasets.Split.TRAIN + datasets.Split.TEST).subsplit(datasets.percent[:50])

Mas isso não é válido:

train = datasets.Split.TRAIN
test = datasets.Split.TEST
split = train.subsplit(datasets.percent[:25]).subsplit(datasets.percent[:25])
split = (train.subsplit(datasets.percent[:25]) + test).subsplit(datasets.percent[:50])

classe datasets.NamedSplitAll

< source >

( )

Divisão correspondente à união de todas as divisões de conjunto de dados definidas.

classe datasets.ReadInstruction

< source >

( split_namerounding = Nonefrom_ = Noneto = Noneunit = None )

Instrução de leitura para um conjunto de dados.

Exemplos:

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec('test[:33%]'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction('test', to=33, unit='%'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%'))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]+train[1:-1]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%]+train[1:-1]'))
ds = datasets.load_dataset('ylecun/mnist', split=(
datasets.ReadInstruction('test', to=33, unit='%') +
datasets.ReadInstruction('train', from_=1, to=-1, unit='abs')))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%](pct1_dropremainder)')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%](pct1_dropremainder)'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%', rounding="pct1_dropremainder"))

# 10-fold validation:
tests = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', from_=k, to=k+10, unit='%')
for k in range(0, 100, 10)])
trains = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', to=k, unit='%') + datasets.ReadInstruction('train', from_=k+10, unit='%')
for k in range(0, 100, 10)])

from_spec

< source >

( spec )

Parâmetros

spec (str) — Divisões + fatias opcionais a ler + arredondamento opcional se porcentagens forem usadas como unidade de fatiamento. Uma fatia pode ser especificada usando números absolutos (int) ou porcentagens (int).

Cria uma instância de ReadInstruction a partir de uma especificação em string.

Exemplos:

test: test split.
test + validation: test split + validation split.
test[10:]: test split, minus its first 10 records.
test[:10%]: first 10% records of test split.
test[:20%](pct1_dropremainder): first 10% records, rounded with the pct1_dropremainder rounding.
test[:-5%]+train[40%:60%]: first 95% of test + middle 20% of train.

to_absolute

< source >

( name2len )

Parâmetros

name2len (dict) — Associa nomes de splits ao número de exemplos.

Traduza a instrução em uma lista de instruções absolutas.

Essas instruções absolutas devem então ser somadas.

Versão

classe datasets.Version

< source >

( version_str: strdescription: typing.Optional[str] = Nonemajor: typing.Union[str, int, NoneType] = Noneminor: typing.Union[str, int, NoneType] = Nonepatch: typing.Union[str, int, NoneType] = None )

Parâmetros

version_str (str) — A versão do conjunto de dados.
description (str) — Uma descrição do que é novo nesta versão.
major (str) —
minor (str) —
patch (str) —

Versão do dataset MAJOR.MINOR.PATCH.

Exemplo:

>>> VERSION = datasets.Version("1.0.0")

Update on GitHub

←Principais classes Métodos de carregamento→