TRL documentation
CPO Trainer
CPO Trainer
Обзор
Контрастная оптимизация предпочтений (CPO), предложенная в статье Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation авторов Haoran Xu, Amr Sharaf, Yunmo Chen, Weiting Tan, Lingfeng Shen, Benjamin Van Durme, Kenton Murray и Young Jin Kim. В целом, CPO обучает модели избегать генерации адекватных, но не идеальных переводов в задачах машинного перевода (MT). Однако CPO является общим приближением функции потерь DPO и может применяться в других областях, например, в чат-ботах.
CPO призван устранить два фундаментальных недостатка SFT. Во-первых, методология SFT, основанная на минимизации расхождения между предсказанными выводами и эталонными данными, по сути ограничивает производительность модели уровнем качества обучающих данных. Во-вторых, в SFT отсутствует механизм, предотвращающий то, что модель отвергает ошибки в переводах. Целевая функция CPO выводится из целевой функции DPO.
Быстрый старт
В этом примере показано, как обучать модель с использованием метода CPO. В качестве базовой модели используется Qwen 0.5B. Для предпочтений используются данные из набора UltraFeedback. Вы можете просмотреть данные в наборе здесь:
Ниже приведён скрипт для обучения модели:
# train_cpo.py
from datasets import load_dataset
from trl.experimental.cpo import CPOConfig, CPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
training_args = CPOConfig(output_dir="Qwen2-0.5B-CPO")
trainer = CPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()Выполните скрипт с помощью следующей команды:
torchrun --nproc_per_node 8 train_cpo.py
Ожидаемый тип набора данных
Для CPO требуется набор данных предпочтений. experimental.cpo.CPOTrainer поддерживает форматы диалоговых и стандартных наборов данных. При использовании диалогового набора данных тренер автоматически применяет шаблон чата к данным.
Записываемые метрики
Во время обучения и оценки мы фиксируем следующие метрики:
rewards/chosen: средние логарифмические вероятности выбранной модели политики для принятых ответов, умноженные на betarewards/rejected: средние логарифмические вероятности, присвоенные моделью политики отклонённым ответам, умноженные на betarewards/accuracies: среднее значение частоты, с которой выбранные вознаграждения > соответствующих отклонённых вознагражденийrewards/margins: средняя разница между наградами за выбранный и соответствующий отклонённый вариантыnll_loss: средняя потеря отрицательной логарифмической правдоподобности (negative log likelihood) модели политики для выбранных ответов
Варианты CPO
Простая оптимизация предпочтений (SimPO)
Simple Preference Optimization (SimPO), предложенный Yu Meng, Mengzhou Xia и Danqi Chen, представляет собой более простой и эффективный алгоритм оптимизации предпочтений по сравнению с DPO, не использующий эталонную модель. Ключевые особенности SimPO: (1) использование нормализованной по длине логарифмической правдоподобности в качестве неявной награды и (2) включение целевого разрыва наград в целевую функцию ранжирования Bradley-Terry. Официальный код доступен по адресу princeton-nlp/SimPO.
Аннотация из статьи следующая:
Direct Preference Optimization (DPO) — это широко используемый алгоритм офлайн-оптимизации предпочтений, который переопределяет функции вознаграждения в подходе reinforcement learning from human feedback (RLHF), чтобы повысить простоту и стабильность обучения. В данной работе мы предлагаем SimPO — более простой, но при этом более эффективный подход. Эффективность SimPO обусловлена ключевым проектным решением: использованием средней логарифмической вероятности последовательности в качестве неявного вознаграждения. Такая формулировка вознаграждения лучше согласуется с генерацией модели и устраняет необходимость в эталонной модели, что делает метод более эффективным с точки зрения вычислений и памяти. Кроме того, мы вводим целевой разрыв вознаграждения (target reward margin) в целевую функцию Bradley-Terry, чтобы стимулировать больший разрыв между выигрышными и проигрышными ответами, что дополнительно повышает производительность алгоритма. Мы сравниваем SimPO с DPO и его последними вариантами в различных передовых конфигурациях обучения, включая как базовые, так и модели, настроенные по инструкциям, такие как Mistral и Llama3. Мы проводили оценку на обширных бенчмарках следования инструкциям, включая AlpacaEval 2, MT-Bench и недавний сложный бенчмарк Arena-Hard. Наши результаты показывают, что SimPO последовательно и значительно превосходит существующие подходы, не увеличивая длину ответов. В частности, SimPO превосходит DPO на 6,4 балла на AlpacaEval 2 и на 7,5 балла на Arena-Hard. Наша лучшая модель, построенная на базе Llama3-8B-Instruct, достигает впечатляющего показателя 44,7 % в length-controlled win rate на AlpacaEval 2 — опережая Claude 3 Opus в рейтинге, — и 33,8 % в win rate на Arena-Hard, что делает её сильнейшей открытой моделью с 8B параметров.
Потеря SimPO интегрирована в experimental.cpo.CPOTrainer, поскольку это альтернативная функция потерь, которая добавляет маржу вознаграждения, позволяет нормализовать по длине и не использует регуляризацию BC. Чтобы использовать эту потерю, просто включите loss_type="simpo" и cpo_alpha=0.0 в experimental.cpo.CPOConfig и установите simpo_gamma в рекомендуемое значение.
CPO-SimPO
Мы также предлагаем совместное использование CPO и SimPO, что обеспечивает более стабильное обучение и улучшает производительность. Подробнее можно узнать в CPO-SimPO GitHub. Чтобы использовать этот метод, просто включите SimPO, установив loss_type="simpo" и ненулевое значение cpo_alpha в experimental.cpo.CPOConfig.
AlphaPO
Метод AlphaPO — Reward shape matters for LLM alignment (AlphaPO), предложенный Aman Gupta, Shao Tang, Qingquan Song, Sirou Zhu, Jiwoo Hong, Ankan Saha, Viral Gupta, Noah Lee, Eunki Kim, Jason Zhu, Natesh Pillai и S. Sathiya Keerthi, также реализован в experimental.cpo.CPOTrainer. AlphaPO — это альтернативный метод, который применяет преобразование к форме функции вознаграждения в контексте функции потерь SimPO. Аннотация из статьи приведена ниже:
Методы обучения с подкреплением с обратной связью от человека (RLHF) и их варианты сделали огромный шаг вперед в эффективном выравнивании больших языковых моделей (LLM) для следования инструкциям и отражения человеческих ценностей. Недавно появились алгоритмы прямого выравнивания (DAA), в которых этап моделирования вознаграждения в RLHF пропускается, а вознаграждение описывается непосредственно как функция обучаемой политики. Среди популярных примеров DAA можно выделить Direct Preference Optimization (DPO) и Simple Preference Optimization (SimPO). Эти методы часто страдают от смещения правдоподобия (likelihood displacement) — явления, при котором вероятности предпочтительных ответов нежелательно снижаются. В данной статье мы утверждаем, что для DAA важна форма функции вознаграждения. Мы представляем AlphaPO — новый метод DAA, который использует параметр α для изменения формы функции вознаграждения за пределами стандартного логарифмического вознаграждения. AlphaPO помогает сохранять тонкий контроль над смещением правдоподобия и чрезмерной оптимизацией. По сравнению с SimPO, одним из лучших по производительности DAA, AlphaPO обеспечивает относительное улучшение качества выравнивания на 7–10% для инструктивных версий Mistral-7B и Llama3-8B, а также на 15–50% по сравнению с DPO на тех же моделях. Приведенный анализ и результаты подчеркивают важность формы вознаграждения и того, как ее можно систематически изменять, чтобы влиять на динамику обучения и улучшать качество выравнивания.
Чтобы использовать эту функцию потерь, как описано в статье, можно задать loss_type="alphapo", что автоматически устанавливает loss_type="simpo" и cpo_alpha=0.0, а также alpha и simpo_gamma в рекомендуемые значения в experimental.cpo.CPOConfig. Альтернативно, вы можете вручную установить loss_type="simpo", cpo_alpha=0.0, а также alpha и simpo_gamma в рекомендуемые значения. Возможны и другие варианты этого метода, например, установка loss_type="ipo" и alpha в любое ненулевое значение.
Функции потерь
Алгоритм CPO поддерживает несколько функций потерь. Функцию потерь можно задать с помощью параметра loss_type в experimental.cpo.CPOConfig. Поддерживаются следующие функции потерь:
loss_type= | Описание |
|---|---|
"sigmoid" (по умолчанию) | Исходя из данных предпочтений, мы можем обучить бинарный классификатор согласно модели Брэдли-Терри, и, в частности, авторы DPO предлагают использовать сигмоидную потерю на нормализованном правдоподобии через logsigmoid для подгонки логистической регрессии. |
"hinge" | Авторы RSO предлагают использовать шарнирный штраф (hinge loss) на нормализованную правдоподобность из статьи SLiC. В этом случае beta является обратной величиной к зазору (margin). |
"ipo" | Авторы IPO дают более глубокое теоретическое понимание алгоритмов DPO, выявляют проблему переобучения и предлагают альтернативную функцию потерь. В этом случае beta является обратной величиной к разности логарифмов отношений правдоподобия для пары выбранных и отклонённых завершений, а значит, чем меньше beta, тем больше эта разность. Согласно статье, потери усредняются по логарифмам правдоподобия завершения (в отличие от DPO, где они только суммируются). |
"simpo" | Метод SimPO также реализован в experimental.cpo.CPOTrainer. SimPO — это альтернативная функция потерь, которая добавляет маржу вознаграждения, позволяет нормализовать по длине и не использует регуляризацию BC. Чтобы использовать эту функцию потерь, просто установите loss_type="simpo" и cpo_alpha=0.0 в experimental.cpo.CPOConfig, а simpo_gamma — на рекомендуемое значение. |
"alphapo" | Метод AlphaPO также реализован в experimental.cpo.CPOTrainer. Это синтаксический сахар, который автоматически устанавливает loss_type="simpo" и cpo_alpha=0.0. AlphaPO применяет преобразование к форме функции вознаграждения в контексте потерь SimPO, когда параметр alpha не равен нулю. |
Для моделей Mixture of Experts: включение вспомогательной функции потерь
MOE наиболее эффективны, когда нагрузка распределена между экспертами примерно равномерно.
Чтобы обучать MOE аналогичным образом при настройке предпочтений, полезно добавлять вспомогательную функцию потерь от балансировщика нагрузки к итоговой функции потерь.
Этот параметр включается установкой output_router_logits=True в конфигурации модели (например, MixtralConfig).
Чтобы отрегулировать вклад вспомогательной функции потерь в общую функцию потерь, используйте гиперпараметр router_aux_loss_coef=... (по умолчанию: 0.001) в конфигурации модели.
CPOTrainer
класс trl.experimental.cpo.CPOTrainer
< source >( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.cpo.cpo_config.CPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )
Параметры
- model (PreTrainedModel) — Модель для обучения, предпочтительно AutoModelForSequenceClassification.
- args (experimental.cpo.CPOConfig) — Аргументы конфигурации CPO, используемые для обучения.
- data_collator (
DataCollator) — Коллатор данных, используемый для обучения. Если указано значение None, будет использован коллатор данных по умолчанию (experimental.utils.DPODataCollatorWithPadding), который выравнивает последовательности до максимальной длины последовательностей в батче, если датасет содержит пары последовательностей. - train_dataset (Dataset) — Набор данных, используемый для обучения.
- eval_dataset (Dataset) — Набор данных, используемый для оценки.
- processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin или ProcessorMixin, необязательный) — Класс обработки, используемый для обработки данных. Если указан, будет автоматически использоваться для обработки входных данных модели и сохраняется вместе с моделью, чтобы упростить перезапуск прерванной тренировки или повторное использование дообученной модели.
- model_init (
Callable[[], transformers.PreTrainedModel]) — Инициализатор модели, используемый для обучения. Если указано значение None, будет использован инициализатор модели по умолчанию. - callbacks (
list[transformers.TrainerCallback]) — Список колбэков, используемых для обучения. - optimizers (
tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Оптимизатор и планировщик, используемые для обучения. - preprocess_logits_for_metrics (
Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Функция для предобработки логитов перед вычислением метрик. - peft_config (
PeftConfig, необязательный) — Конфигурация PEFT, используемая для обучения. Если вы передадите конфигурацию PEFT, модель будет обернута в модель PEFT. - compute_metrics (
Callable[[EvalPrediction], dict], необязательный) — Функция для вычисления метрик. ПринимаетEvalPredictionи возвращает словарь, сопоставляющий строки с значениями метрик.
Инициализируйте CPOTrainer.
обучение
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
Параметры
- resume_from_checkpoint (
strилиbool, необязательный) — Если передано значение типаstr, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляромTrainer. Если передано значение типаboolи оно равноTrue, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляромTrainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки. - trial (
optuna.Trialилиdict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров. - ignore_keys_for_eval (
list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.
Возвращает
~trainer_utils.TrainOutput
Объект, содержащий количество глобальных шагов, потерю обучения и метрики.
Основная точка входа для обучения.
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.
CPOConfig
класс trl.experimental.cpo.CPOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1label_smoothing: float = 0.0loss_type: str = 'sigmoid'disable_dropout: bool = Truecpo_alpha: float = 1.0simpo_gamma: float = 0.5alpha: float = 0.0generate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )
Параметры
- max_length (
intorNone, необязательный, по умолчанию1024) — Максимальная длина последовательностей (prompt + completion) в батче. Этот аргумент обязателен, если вы хотите использовать стандартный data collator. - max_completion_length (
int, необязательный) — Максимальная длина завершения. Этот аргумент обязателен, если вы хотите использовать стандартный коллаборатор данных, а ваша модель является моделью типа «кодировщик-декодировщик». - beta (
float, необязательный, по умолчанию0.1) — Параметр, контролирующий отклонение от эталонной модели. Чем выше β, тем меньше отклонение от эталонной модели. Для функции потерь IPO (loss_type="ipo") β является параметром регуляризации, обозначенным как τ в статье. - label_smoothing (
float, необязательный, по умолчанию0.0) — Коэффициент сглаживания меток. Этот аргумент обязателен, если вы хотите использовать стандартный коллаборатор данных. - loss_type (
str, необязательный, по умолчанию"sigmoid") — Тип используемой функции потерь. Возможные значения:"sigmoid": сигмоидная функция потерь из оригинальной статьи DPO."hinge": функция потерь hinge для нормализованной правдоподобности из статьи SLiC."ipo": функция потерь IPO из статьи IPO."simpo": функция потерь SimPO из статьи SimPO."alphapo": функция потерь AlphaPO из статьи AlphaPO. Это автоматически устанавливаетloss_type="simpo"иcpo_alpha=0.0.
- disable_dropout (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отключить dropout в модели. - cpo_alpha (
float, необязательный, по умолчанию1.0) — Вес регуляризатора BC в обучении CPO. - simpo_gamma (
float, необязательный, по умолчанию0.5) — Целевой разрыв вознаграждения для функции потерь SimPO, используется только приloss_type="simpo". - alpha (
float, необязательный, по умолчанию0.0) — Параметр, управляющий формой функции вознаграждения для всех типов потерь. При значении 0 (по умолчанию) используются стандартные вознаграждения на основе логарифмической вероятности. Приalpha != 0применяется преобразование AlphaPO:r = (1 - p^(-alpha)) / alphaиз статьи AlphaPO. Этот параметр работает со всеми типами потерь. - generate_during_eval (
bool, необязательный, по умолчаниюFalse) — ЕслиTrue, генерирует и записывает в журнал ответы модели в W&B или Comet во время оценки. - is_encoder_decoder (
bool, необязательный) — При использовании аргументаmodel_init(вызываемый объект) для создания модели вместо аргументаmodelнеобходимо указать, является ли модель, возвращаемая вызываемым объектом, моделью типа encoder-decoder. - model_init_kwargs (
dict[str, Any], необязательный) — Параметры, передаваемые вAutoModelForCausalLM.from_pretrainedпри создании модели из строки. Значениеrevisionтакже используется при загрузке класса обработки. - trust_remote_code (
bool, необязательный, по умолчаниюFalse) — Разрешает ли загрузку моделей, содержащих собственный Python-код из Hub. Передаётся в from_pretrained. - dataset_num_proc (
int, необязательный) — Количество процессов, используемых для обработки набора данных.
Класс конфигурации для experimental.cpo.CPOTrainer.
Этот класс содержит только параметры, специфичные для обучения CPO. Полный список аргументов обучения см. в документации TrainingArguments. Обратите внимание, что значения по умолчанию в этом классе могут отличаться от значений в TrainingArguments.
С помощью HfArgumentParser мы можем превратить этот класс в аргументы argparse, которые можно указать в командной строке.
Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:
logging_steps: по умолчанию10, а не500.gradient_checkpointing: по умолчаниюTrue, а неFalse.bf16: по умолчаниюTrue, если не заданfp16, а неFalse.learning_rate: по умолчанию1e-6, а не5e-5.