TRL documentation

Utilitas Skrip

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitas Skrip

ScriptArguments

kelas trl.ScriptArguments

< >

( dataset_name: str | None = Nonedataset_config: str | None = Nonedataset_train_split: str = 'train'dataset_test_split: str = 'test'dataset_streaming: bool = Falseignore_bias_buffers: bool = False )

Parameter

  • dataset_name (str,, opsional) — Path atau nama dataset yang akan dimuat. Jika datasets disediakan, ini akan diabaikan.
  • dataset_config (str, opsional) — Nama konfigurasi dataset. Bersesuaian dengan argumen name dari fungsi load_dataset. Jika datasets disediakan, ini akan diabaikan.
  • dataset_train_split (str, opsional, default "train") — Split dataset yang digunakan untuk pelatihan. Jika datasets disediakan, ini akan diabaikan.
  • dataset_test_split (str, opsional, default "test") — Split dataset yang digunakan untuk evaluasi. Jika datasets disediakan, ini akan diabaikan.
  • dataset_streaming (bool, opsional, default False) — Apakah akan melakukan streaming pada dataset. Jika True, dataset akan dimuat dalam mode streaming. Jika datasets disediakan, ini akan diabaikan.
  • ignore_bias_buffers (bool, opsional, default False) — Argumen debug untuk pelatihan terdistribusi. Perbaikan untuk masalah DDP pada buffer bias/mask LM - tipe skalar tidak valid, operasi inplace. Lihat https://github.com/huggingface/transformers/issues/22482#issuecomment-1595790992.

Argumen yang umum untuk semua skrip.

TrlParser

kelas trl.TrlParser

< >

( dataclass_types: typing.Union[trl.scripts._hf_argparser.DataClassType, collections.abc.Iterable[trl.scripts._hf_argparser.DataClassType], NoneType] = None**kwargs )

Parameter

  • dataclass_types (DataClassType | Iterable[DataClassType], opsional) — Jenis dataclass yang digunakan untuk parsing argumen.
  • **kwargs — Argumen kata kunci tambahan yang diteruskan ke konstruktor transformers.HfArgumentParser.

Subkelas dari transformers.HfArgumentParser yang dirancang untuk mengurai argumen baris perintah dengan konfigurasi berbasis dataclass, sekaligus mendukung pemuatan file konfigurasi dan pengelolaan variabel lingkungan.

Contoh:

# config.yaml
env:
    VAR1: value1
arg1: 23
# main.py
import os
from dataclasses import dataclass
from trl import TrlParser


@dataclass
class MyArguments:
    arg1: int
    arg2: str = "alpha"


parser = TrlParser(dataclass_types=[MyArguments])
training_args = parser.parse_args_and_config()

print(training_args, os.environ.get("VAR1"))
$ python main.py --config config.yaml
(MyArguments(arg1=23, arg2='alpha'),) value1

$ python main.py --arg1 5 --arg2 beta
(MyArguments(arg1=5, arg2='beta'),) None

parse_args_and_config

< >

( args: collections.abc.Iterable[str] | None = Nonereturn_remaining_strings: bool = Falsefail_with_unknown_args: bool = Trueseparate_remaining_strings: bool = False )

Parse argumen baris perintah dan file konfigurasi menjadi instance dari tipe dataclass yang ditentukan.

Metode ini membungkus transformers.HfArgumentParser.parse_args_into_dataclasses dan juga mengurai file konfigurasi yang ditentukan dengan flag --config. File konfigurasi (dalam format YAML) menyediakan nilai argumen yang menggantikan nilai default di dataclasses. Argumen baris perintah dapat menimpa nilai yang diatur oleh file konfigurasi. Metode ini juga mengatur variabel lingkungan apa pun yang ditentukan di field env dari file konfigurasi.

parse_args_into_dataclasses

< >

( args = Nonereturn_remaining_strings = Falselook_for_args_file = Trueargs_filename = Noneargs_file_flag = None ) → Tuple consisting of

Parameter

  • args — Daftar string untuk diurai. Nilai default diambil dari sys.argv. (sama seperti argparse.ArgumentParser)
  • return_remaining_strings — Jika true, juga kembalikan daftar string argumen yang tersisa.
  • look_for_args_file — Jika true, akan mencari file “.args” dengan nama dasar yang sama dengan skrip entry point untuk proses ini, dan akan menambahkan konten potensialnya ke argumen baris perintah.
  • args_filename — Jika bukan None, file ini akan digunakan alih-alih file “.args” yang ditentukan dalam argumen sebelumnya.
  • args_file_flag — Jika bukan None, akan mencari file dalam argumen baris perintah yang ditentukan dengan flag ini. Flag dapat ditentukan beberapa kali dan prioritas ditentukan oleh urutannya (yang terakhir menang).

Mengembalikan

Tuple yang terdiri dari

  • instance dataclass dalam urutan yang sama seperti yang diteruskan ke inisialisator.abspath
  • jika berlaku, namespace tambahan untuk argumen (yang tidak didukung dataclass) lainnya yang ditambahkan ke parser setelah inisialisasi.
  • Daftar potensial string argumen yang tersisa. (sama seperti argparse.ArgumentParser.parse_known_args)

Parse argumen command-line menjadi instance dari tipe dataclass yang ditentukan.

Ini bergantung pada ArgumentParser.parse_known_args dari argparse. Lihat dokumentasi di: docs.python.org/3/library/argparse.html#argparse.ArgumentParser.parse_args

set_defaults_with_config

< >

( **kwargs )

Menimpa nilai default parser dengan nilai yang diberikan melalui argumen kata kunci, termasuk untuk subparser.

Argumen apa pun dengan nilai default yang diperbarui juga akan ditandai sebagai tidak wajib jika sebelumnya bersifat wajib.

Mengembalikan daftar string yang tidak dikonsumsi oleh parser.

get_dataset

trl.get_dataset

< >

( mixture_config: DatasetMixtureConfig ) → DatasetDict

Parameter

Mengembalikan

DatasetDict

Dataset gabungan dari konfigurasi campuran, dengan pembagian train/test opsional jika test_split_size diatur.

Muat campuran dataset berdasarkan konfigurasi.

Contoh:

>>> from trl import DatasetMixtureConfig, get_dataset
>>> from trl.scripts.utils import DatasetConfig

>>> mixture_config = DatasetMixtureConfig(datasets=[DatasetConfig(path="trl-lib/tldr")])
>>> get_dataset(mixture_config)
DatasetDict({
    train: Dataset({
        features: ['prompt', 'completion'],
        num_rows: 116722
    })
})

DatasetConfig

kelas trl.scripts.utils.DatasetConfig

< >

( path: strname: str | None = Nonedata_dir: str | None = Nonedata_files: str | list[str] | dict[str, str] | None = Nonesplit: str = 'train'columns: list[str] | None = Nonefraction: float | None = None )

Parameter

  • path (str) — Path atau nama dataset.
  • name (str, opsional) — Menentukan nama konfigurasi dataset.
  • data_dir (str, opsional) — Menentukan data_dir dari konfigurasi dataset. Jika ditentukan untuk builder generik (csv, text, dll.) atau dataset Hub dan data_files adalah None, perilakunya sama dengan meneruskan os.path.join(data_dir, **) sebagai data_files untuk merujuk semua file dalam sebuah direktori.
  • data_files (str atau Sequence atau Mapping, opsional) — Path ke file data sumber.
  • split (str, opsional, defaultnya "train") — Split data mana yang akan dimuat.
  • columns (list[str], opsional) — Daftar nama kolom yang akan dipilih dari dataset. Jika None, semua kolom akan dipilih.
  • fraction (float, opsional) — Porsi target dari dataset ini dalam campuran akhir. Fraksi dinormalisasi agar berjumlah satu di seluruh dataset, dan ukuran campuran dibatasi sehingga tidak ada dataset yang mengalami oversampling: round(fraction * N) baris pertama dari setiap dataset dipertahankan, di mana N adalah ukuran campuran terbesar yang menghindari oversampling. Harus diatur untuk semua dataset dalam campuran atau tidak sama sekali. Tidak didukung untuk dataset streaming. Jika tidak diatur, dataset penuh akan digabungkan.

Konfigurasi untuk dataset.

Kelas ini sesuai dengan tanda tangan load_dataset dan argumennya digunakan langsung dalam fungsi load_dataset. Anda dapat merujuk ke dokumentasi load_dataset untuk detail lebih lanjut.

DatasetMixtureConfig

kelas trl.DatasetMixtureConfig

< >

( datasets: list[trl.scripts.utils.DatasetConfig] = <factory>streaming: bool = Falsetest_split_size: float | None = None )

Parameter

  • datasets (list[DatasetConfig]) — Daftar konfigurasi dataset yang akan disertakan dalam campuran.
  • streaming (bool, opsional, default False) — Apakah dataset akan di-stream. Jika True, dataset akan dimuat dalam mode streaming.
  • test_split_size (float, opsional) — Ukuran split pengujian. Lihat parameter test_size pada fungsi train_test_split untuk detail lebih lanjut. Jika None, dataset tidak akan dipecah menjadi set pelatihan dan pengujian.

Kelas konfigurasi untuk campuran dataset.

Dengan HfArgumentParser, kita dapat mengubah kelas ini menjadi argumen argparse yang dapat ditentukan di baris perintah.

Penggunaan:

Saat menggunakan CLI, Anda dapat menambahkan bagian berikut ke file konfigurasi YAML Anda:

datasets:
- path: ...
    name: ...
    data_dir: ...
    data_files: ...
    split: ...
    columns: ...
    fraction: ...
- path: ...
    name: ...
    data_dir: ...
    data_files: ...
    split: ...
    columns: ...
streaming: ...
test_split_size: ...
Update on GitHub