TRL documentation
Utilitas Skrip
Utilitas Skrip
ScriptArguments
kelas trl.ScriptArguments
< source >( dataset_name: str | None = Nonedataset_config: str | None = Nonedataset_train_split: str = 'train'dataset_test_split: str = 'test'dataset_streaming: bool = Falseignore_bias_buffers: bool = False )
Parameter
- dataset_name (
str,, opsional) — Path atau nama dataset yang akan dimuat. Jikadatasetsdisediakan, ini akan diabaikan. - dataset_config (
str, opsional) — Nama konfigurasi dataset. Bersesuaian dengan argumennamedari fungsi load_dataset. Jikadatasetsdisediakan, ini akan diabaikan. - dataset_train_split (
str, opsional, default"train") — Split dataset yang digunakan untuk pelatihan. Jikadatasetsdisediakan, ini akan diabaikan. - dataset_test_split (
str, opsional, default"test") — Split dataset yang digunakan untuk evaluasi. Jikadatasetsdisediakan, ini akan diabaikan. - dataset_streaming (
bool, opsional, defaultFalse) — Apakah akan melakukan streaming pada dataset. Jika True, dataset akan dimuat dalam mode streaming. Jikadatasetsdisediakan, ini akan diabaikan. - ignore_bias_buffers (
bool, opsional, defaultFalse) — Argumen debug untuk pelatihan terdistribusi. Perbaikan untuk masalah DDP pada buffer bias/mask LM - tipe skalar tidak valid, operasi inplace. Lihat https://github.com/huggingface/transformers/issues/22482#issuecomment-1595790992.
Argumen yang umum untuk semua skrip.
TrlParser
kelas trl.TrlParser
< source >( dataclass_types: typing.Union[trl.scripts._hf_argparser.DataClassType, collections.abc.Iterable[trl.scripts._hf_argparser.DataClassType], NoneType] = None**kwargs )
Parameter
- dataclass_types (
DataClassType | Iterable[DataClassType], opsional) — Jenis dataclass yang digunakan untuk parsing argumen. - **kwargs — Argumen kata kunci tambahan yang diteruskan ke konstruktor transformers.HfArgumentParser.
Subkelas dari transformers.HfArgumentParser yang dirancang untuk mengurai argumen baris perintah dengan konfigurasi berbasis dataclass, sekaligus mendukung pemuatan file konfigurasi dan pengelolaan variabel lingkungan.
# main.py
import os
from dataclasses import dataclass
from trl import TrlParser
@dataclass
class MyArguments:
arg1: int
arg2: str = "alpha"
parser = TrlParser(dataclass_types=[MyArguments])
training_args = parser.parse_args_and_config()
print(training_args, os.environ.get("VAR1"))$ python main.py --config config.yaml
(MyArguments(arg1=23, arg2='alpha'),) value1
$ python main.py --arg1 5 --arg2 beta
(MyArguments(arg1=5, arg2='beta'),) Noneparse_args_and_config
< source >( args: collections.abc.Iterable[str] | None = Nonereturn_remaining_strings: bool = Falsefail_with_unknown_args: bool = Trueseparate_remaining_strings: bool = False )
Parse argumen baris perintah dan file konfigurasi menjadi instance dari tipe dataclass yang ditentukan.
Metode ini membungkus transformers.HfArgumentParser.parse_args_into_dataclasses dan juga mengurai file konfigurasi yang ditentukan dengan flag --config. File konfigurasi (dalam format YAML) menyediakan nilai argumen yang menggantikan nilai default di dataclasses. Argumen baris perintah dapat menimpa nilai yang diatur oleh file konfigurasi. Metode ini juga mengatur variabel lingkungan apa pun yang ditentukan di field env dari file konfigurasi.
parse_args_into_dataclasses
< source >( args = Nonereturn_remaining_strings = Falselook_for_args_file = Trueargs_filename = Noneargs_file_flag = None ) → Tuple consisting of
Parameter
- args — Daftar string untuk diurai. Nilai default diambil dari sys.argv. (sama seperti argparse.ArgumentParser)
- return_remaining_strings — Jika true, juga kembalikan daftar string argumen yang tersisa.
- look_for_args_file — Jika true, akan mencari file “.args” dengan nama dasar yang sama dengan skrip entry point untuk proses ini, dan akan menambahkan konten potensialnya ke argumen baris perintah.
- args_filename — Jika bukan None, file ini akan digunakan alih-alih file “.args” yang ditentukan dalam argumen sebelumnya.
- args_file_flag — Jika bukan None, akan mencari file dalam argumen baris perintah yang ditentukan dengan flag ini. Flag dapat ditentukan beberapa kali dan prioritas ditentukan oleh urutannya (yang terakhir menang).
Mengembalikan
Tuple yang terdiri dari
- instance dataclass dalam urutan yang sama seperti yang diteruskan ke inisialisator.abspath
- jika berlaku, namespace tambahan untuk argumen (yang tidak didukung dataclass) lainnya yang ditambahkan ke parser setelah inisialisasi.
- Daftar potensial string argumen yang tersisa. (sama seperti argparse.ArgumentParser.parse_known_args)
Parse argumen command-line menjadi instance dari tipe dataclass yang ditentukan.
Ini bergantung pada ArgumentParser.parse_known_args dari argparse. Lihat dokumentasi di:
docs.python.org/3/library/argparse.html#argparse.ArgumentParser.parse_args
Menimpa nilai default parser dengan nilai yang diberikan melalui argumen kata kunci, termasuk untuk subparser.
Argumen apa pun dengan nilai default yang diperbarui juga akan ditandai sebagai tidak wajib jika sebelumnya bersifat wajib.
Mengembalikan daftar string yang tidak dikonsumsi oleh parser.
get_dataset
trl.get_dataset
< source >( mixture_config: DatasetMixtureConfig ) → DatasetDict
Parameter
- mixture_config (DatasetMixtureConfig) — Argumen skrip yang berisi konfigurasi dataset.
Mengembalikan
Dataset gabungan dari konfigurasi campuran, dengan pembagian train/test opsional jika test_split_size diatur.
Muat campuran dataset berdasarkan konfigurasi.
Contoh:
>>> from trl import DatasetMixtureConfig, get_dataset
>>> from trl.scripts.utils import DatasetConfig
>>> mixture_config = DatasetMixtureConfig(datasets=[DatasetConfig(path="trl-lib/tldr")])
>>> get_dataset(mixture_config)
DatasetDict({
train: Dataset({
features: ['prompt', 'completion'],
num_rows: 116722
})
})DatasetConfig
kelas trl.scripts.utils.DatasetConfig
< source >( path: strname: str | None = Nonedata_dir: str | None = Nonedata_files: str | list[str] | dict[str, str] | None = Nonesplit: str = 'train'columns: list[str] | None = Nonefraction: float | None = None )
Parameter
- path (
str) — Path atau nama dataset. - name (
str, opsional) — Menentukan nama konfigurasi dataset. - data_dir (
str, opsional) — Menentukandata_dirdari konfigurasi dataset. Jika ditentukan untuk builder generik (csv, text, dll.) atau dataset Hub dandata_filesadalahNone, perilakunya sama dengan meneruskanos.path.join(data_dir, **)sebagaidata_filesuntuk merujuk semua file dalam sebuah direktori. - data_files (
stratauSequenceatauMapping, opsional) — Path ke file data sumber. - split (
str, opsional, defaultnya"train") — Split data mana yang akan dimuat. - columns (
list[str], opsional) — Daftar nama kolom yang akan dipilih dari dataset. JikaNone, semua kolom akan dipilih. - fraction (
float, opsional) — Porsi target dari dataset ini dalam campuran akhir. Fraksi dinormalisasi agar berjumlah satu di seluruh dataset, dan ukuran campuran dibatasi sehingga tidak ada dataset yang mengalami oversampling:round(fraction * N)baris pertama dari setiap dataset dipertahankan, di manaNadalah ukuran campuran terbesar yang menghindari oversampling. Harus diatur untuk semua dataset dalam campuran atau tidak sama sekali. Tidak didukung untuk dataset streaming. Jika tidak diatur, dataset penuh akan digabungkan.
Konfigurasi untuk dataset.
Kelas ini sesuai dengan tanda tangan load_dataset dan argumennya digunakan langsung dalam fungsi load_dataset. Anda dapat merujuk ke dokumentasi load_dataset untuk detail lebih lanjut.
DatasetMixtureConfig
kelas trl.DatasetMixtureConfig
< source >( datasets: list[trl.scripts.utils.DatasetConfig] = <factory>streaming: bool = Falsetest_split_size: float | None = None )
Parameter
- datasets (
list[DatasetConfig]) — Daftar konfigurasi dataset yang akan disertakan dalam campuran. - streaming (
bool, opsional, defaultFalse) — Apakah dataset akan di-stream. JikaTrue, dataset akan dimuat dalam mode streaming. - test_split_size (
float, opsional) — Ukuran split pengujian. Lihat parametertest_sizepada fungsitrain_test_splituntuk detail lebih lanjut. JikaNone, dataset tidak akan dipecah menjadi set pelatihan dan pengujian.
Kelas konfigurasi untuk campuran dataset.
Dengan HfArgumentParser, kita dapat mengubah kelas ini menjadi argumen argparse yang dapat ditentukan di baris perintah.
Penggunaan:
Saat menggunakan CLI, Anda dapat menambahkan bagian berikut ke file konfigurasi YAML Anda:
datasets:
- path: ...
name: ...
data_dir: ...
data_files: ...
split: ...
columns: ...
fraction: ...
- path: ...
name: ...
data_dir: ...
data_files: ...
split: ...
columns: ...
streaming: ...
test_split_size: ...