TRL documentation

CPO Trainer

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CPO Trainer

model badge

Обзор

Контрастная оптимизация предпочтений (CPO), предложенная в статье Contrastive Preference Optimization: Pushing the Boundaries of LLM Performance in Machine Translation авторов Haoran Xu, Amr Sharaf, Yunmo Chen, Weiting Tan, Lingfeng Shen, Benjamin Van Durme, Kenton Murray и Young Jin Kim. В целом, CPO обучает модели избегать генерации адекватных, но не идеальных переводов в задачах машинного перевода (MT). Однако CPO является общим приближением функции потерь DPO и может применяться в других областях, например, в чат-ботах.

CPO призван устранить два фундаментальных недостатка SFT. Во-первых, методология SFT, основанная на минимизации расхождения между предсказанными выводами и эталонными данными, по сути ограничивает производительность модели уровнем качества обучающих данных. Во-вторых, в SFT отсутствует механизм, предотвращающий то, что модель отвергает ошибки в переводах. Целевая функция CPO выводится из целевой функции DPO.

Быстрый старт

В этом примере показано, как обучать модель с использованием метода CPO. В качестве базовой модели используется Qwen 0.5B. Для предпочтений используются данные из набора UltraFeedback. Вы можете просмотреть данные в наборе здесь:

Ниже приведён скрипт для обучения модели:

# train_cpo.py
from datasets import load_dataset
from trl.experimental.cpo import CPOConfig, CPOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")

training_args = CPOConfig(output_dir="Qwen2-0.5B-CPO")
trainer = CPOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

Выполните скрипт с помощью следующей команды:

torchrun --nproc_per_node 8 train_cpo.py

Ожидаемый тип набора данных

Для CPO требуется набор данных предпочтений. experimental.cpo.CPOTrainer поддерживает форматы диалоговых и стандартных наборов данных. При использовании диалогового набора данных тренер автоматически применяет шаблон чата к данным.

Записываемые метрики

Во время обучения и оценки мы фиксируем следующие метрики:

  • rewards/chosen: средние логарифмические вероятности выбранной модели политики для принятых ответов, умноженные на beta
  • rewards/rejected: средние логарифмические вероятности, присвоенные моделью политики отклонённым ответам, умноженные на beta
  • rewards/accuracies: среднее значение частоты, с которой выбранные вознаграждения > соответствующих отклонённых вознаграждений
  • rewards/margins: средняя разница между наградами за выбранный и соответствующий отклонённый варианты
  • nll_loss: средняя потеря отрицательной логарифмической правдоподобности (negative log likelihood) модели политики для выбранных ответов

Варианты CPO

Простая оптимизация предпочтений (SimPO)

Simple Preference Optimization (SimPO), предложенный Yu Meng, Mengzhou Xia и Danqi Chen, представляет собой более простой и эффективный алгоритм оптимизации предпочтений по сравнению с DPO, не использующий эталонную модель. Ключевые особенности SimPO: (1) использование нормализованной по длине логарифмической правдоподобности в качестве неявной награды и (2) включение целевого разрыва наград в целевую функцию ранжирования Bradley-Terry. Официальный код доступен по адресу princeton-nlp/SimPO.

Аннотация из статьи следующая:

Direct Preference Optimization (DPO) — это широко используемый алгоритм офлайн-оптимизации предпочтений, который переопределяет функции вознаграждения в подходе reinforcement learning from human feedback (RLHF), чтобы повысить простоту и стабильность обучения. В данной работе мы предлагаем SimPO — более простой, но при этом более эффективный подход. Эффективность SimPO обусловлена ключевым проектным решением: использованием средней логарифмической вероятности последовательности в качестве неявного вознаграждения. Такая формулировка вознаграждения лучше согласуется с генерацией модели и устраняет необходимость в эталонной модели, что делает метод более эффективным с точки зрения вычислений и памяти. Кроме того, мы вводим целевой разрыв вознаграждения (target reward margin) в целевую функцию Bradley-Terry, чтобы стимулировать больший разрыв между выигрышными и проигрышными ответами, что дополнительно повышает производительность алгоритма. Мы сравниваем SimPO с DPO и его последними вариантами в различных передовых конфигурациях обучения, включая как базовые, так и модели, настроенные по инструкциям, такие как Mistral и Llama3. Мы проводили оценку на обширных бенчмарках следования инструкциям, включая AlpacaEval 2, MT-Bench и недавний сложный бенчмарк Arena-Hard. Наши результаты показывают, что SimPO последовательно и значительно превосходит существующие подходы, не увеличивая длину ответов. В частности, SimPO превосходит DPO на 6,4 балла на AlpacaEval 2 и на 7,5 балла на Arena-Hard. Наша лучшая модель, построенная на базе Llama3-8B-Instruct, достигает впечатляющего показателя 44,7 % в length-controlled win rate на AlpacaEval 2 — опережая Claude 3 Opus в рейтинге, — и 33,8 % в win rate на Arena-Hard, что делает её сильнейшей открытой моделью с 8B параметров.

Потеря SimPO интегрирована в experimental.cpo.CPOTrainer, поскольку это альтернативная функция потерь, которая добавляет маржу вознаграждения, позволяет нормализовать по длине и не использует регуляризацию BC. Чтобы использовать эту потерю, просто включите loss_type="simpo" и cpo_alpha=0.0 в experimental.cpo.CPOConfig и установите simpo_gamma в рекомендуемое значение.

CPO-SimPO

Мы также предлагаем совместное использование CPO и SimPO, что обеспечивает более стабильное обучение и улучшает производительность. Подробнее можно узнать в CPO-SimPO GitHub. Чтобы использовать этот метод, просто включите SimPO, установив loss_type="simpo" и ненулевое значение cpo_alpha в experimental.cpo.CPOConfig.

AlphaPO

Метод AlphaPO — Reward shape matters for LLM alignment (AlphaPO), предложенный Aman Gupta, Shao Tang, Qingquan Song, Sirou Zhu, Jiwoo Hong, Ankan Saha, Viral Gupta, Noah Lee, Eunki Kim, Jason Zhu, Natesh Pillai и S. Sathiya Keerthi, также реализован в experimental.cpo.CPOTrainer. AlphaPO — это альтернативный метод, который применяет преобразование к форме функции вознаграждения в контексте функции потерь SimPO. Аннотация из статьи приведена ниже:

Методы обучения с подкреплением с обратной связью от человека (RLHF) и их варианты сделали огромный шаг вперед в эффективном выравнивании больших языковых моделей (LLM) для следования инструкциям и отражения человеческих ценностей. Недавно появились алгоритмы прямого выравнивания (DAA), в которых этап моделирования вознаграждения в RLHF пропускается, а вознаграждение описывается непосредственно как функция обучаемой политики. Среди популярных примеров DAA можно выделить Direct Preference Optimization (DPO) и Simple Preference Optimization (SimPO). Эти методы часто страдают от смещения правдоподобия (likelihood displacement) — явления, при котором вероятности предпочтительных ответов нежелательно снижаются. В данной статье мы утверждаем, что для DAA важна форма функции вознаграждения. Мы представляем AlphaPO — новый метод DAA, который использует параметр α для изменения формы функции вознаграждения за пределами стандартного логарифмического вознаграждения. AlphaPO помогает сохранять тонкий контроль над смещением правдоподобия и чрезмерной оптимизацией. По сравнению с SimPO, одним из лучших по производительности DAA, AlphaPO обеспечивает относительное улучшение качества выравнивания на 7–10% для инструктивных версий Mistral-7B и Llama3-8B, а также на 15–50% по сравнению с DPO на тех же моделях. Приведенный анализ и результаты подчеркивают важность формы вознаграждения и того, как ее можно систематически изменять, чтобы влиять на динамику обучения и улучшать качество выравнивания.

Чтобы использовать эту функцию потерь, как описано в статье, можно задать loss_type="alphapo", что автоматически устанавливает loss_type="simpo" и cpo_alpha=0.0, а также alpha и simpo_gamma в рекомендуемые значения в experimental.cpo.CPOConfig. Альтернативно, вы можете вручную установить loss_type="simpo", cpo_alpha=0.0, а также alpha и simpo_gamma в рекомендуемые значения. Возможны и другие варианты этого метода, например, установка loss_type="ipo" и alpha в любое ненулевое значение.

Функции потерь

Алгоритм CPO поддерживает несколько функций потерь. Функцию потерь можно задать с помощью параметра loss_type в experimental.cpo.CPOConfig. Поддерживаются следующие функции потерь:

loss_type=Описание
"sigmoid" (по умолчанию)Исходя из данных предпочтений, мы можем обучить бинарный классификатор согласно модели Брэдли-Терри, и, в частности, авторы DPO предлагают использовать сигмоидную потерю на нормализованном правдоподобии через logsigmoid для подгонки логистической регрессии.
"hinge"Авторы RSO предлагают использовать шарнирный штраф (hinge loss) на нормализованную правдоподобность из статьи SLiC. В этом случае beta является обратной величиной к зазору (margin).
"ipo"Авторы IPO дают более глубокое теоретическое понимание алгоритмов DPO, выявляют проблему переобучения и предлагают альтернативную функцию потерь. В этом случае beta является обратной величиной к разности логарифмов отношений правдоподобия для пары выбранных и отклонённых завершений, а значит, чем меньше beta, тем больше эта разность. Согласно статье, потери усредняются по логарифмам правдоподобия завершения (в отличие от DPO, где они только суммируются).
"simpo"Метод SimPO также реализован в experimental.cpo.CPOTrainer. SimPO — это альтернативная функция потерь, которая добавляет маржу вознаграждения, позволяет нормализовать по длине и не использует регуляризацию BC. Чтобы использовать эту функцию потерь, просто установите loss_type="simpo" и cpo_alpha=0.0 в experimental.cpo.CPOConfig, а simpo_gamma — на рекомендуемое значение.
"alphapo"Метод AlphaPO также реализован в experimental.cpo.CPOTrainer. Это синтаксический сахар, который автоматически устанавливает loss_type="simpo" и cpo_alpha=0.0. AlphaPO применяет преобразование к форме функции вознаграждения в контексте потерь SimPO, когда параметр alpha не равен нулю.

Для моделей Mixture of Experts: включение вспомогательной функции потерь

MOE наиболее эффективны, когда нагрузка распределена между экспертами примерно равномерно.
Чтобы обучать MOE аналогичным образом при настройке предпочтений, полезно добавлять вспомогательную функцию потерь от балансировщика нагрузки к итоговой функции потерь.

Этот параметр включается установкой output_router_logits=True в конфигурации модели (например, MixtralConfig).
Чтобы отрегулировать вклад вспомогательной функции потерь в общую функцию потерь, используйте гиперпараметр router_aux_loss_coef=... (по умолчанию: 0.001) в конфигурации модели.

CPOTrainer

класс trl.experimental.cpo.CPOTrainer

< >

( model: typing.Union[transformers.modeling_utils.PreTrainedModel, torch.nn.Module, str, NoneType] = Noneargs: trl.experimental.cpo.cpo_config.CPOConfig | None = Nonedata_collator: collections.abc.Callable[[list[typing.Any]], dict[str, typing.Any]] | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | dict[str, datasets.arrow_dataset.Dataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.image_processing_utils.BaseImageProcessor | transformers.feature_extraction_utils.FeatureExtractionMixin | transformers.processing_utils.ProcessorMixin | None = Nonemodel_init: collections.abc.Callable[[], transformers.modeling_utils.PreTrainedModel] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR] = (None, None)preprocess_logits_for_metrics: collections.abc.Callable[[torch.Tensor, torch.Tensor], torch.Tensor] | None = Nonepeft_config: PeftConfig | None = Nonecompute_metrics: collections.abc.Callable[[transformers.trainer_utils.EvalLoopOutput], dict] | None = None )

Параметры

  • model (PreTrainedModel) — Модель для обучения, предпочтительно AutoModelForSequenceClassification.
  • args (experimental.cpo.CPOConfig) — Аргументы конфигурации CPO, используемые для обучения.
  • data_collator (DataCollator) — Коллатор данных, используемый для обучения. Если указано значение None, будет использован коллатор данных по умолчанию (experimental.utils.DPODataCollatorWithPadding), который выравнивает последовательности до максимальной длины последовательностей в батче, если датасет содержит пары последовательностей.
  • train_dataset (Dataset) — Набор данных, используемый для обучения.
  • eval_dataset (Dataset) — Набор данных, используемый для оценки.
  • processing_class (PreTrainedTokenizerBase, BaseImageProcessor, FeatureExtractionMixin или ProcessorMixin, необязательный) — Класс обработки, используемый для обработки данных. Если указан, будет автоматически использоваться для обработки входных данных модели и сохраняется вместе с моделью, чтобы упростить перезапуск прерванной тренировки или повторное использование дообученной модели.
  • model_init (Callable[[], transformers.PreTrainedModel]) — Инициализатор модели, используемый для обучения. Если указано значение None, будет использован инициализатор модели по умолчанию.
  • callbacks (list[transformers.TrainerCallback]) — Список колбэков, используемых для обучения.
  • optimizers (tuple[torch.optim.Optimizer, torch.optim.lr_scheduler.LambdaLR]) — Оптимизатор и планировщик, используемые для обучения.
  • preprocess_logits_for_metrics (Callable[[torch.Tensor, torch.Tensor], torch.Tensor]) — Функция для предобработки логитов перед вычислением метрик.
  • peft_config (PeftConfig, необязательный) — Конфигурация PEFT, используемая для обучения. Если вы передадите конфигурацию PEFT, модель будет обернута в модель PEFT.
  • compute_metrics (Callable[[EvalPrediction], dict], необязательный) — Функция для вычисления метрик. Принимает EvalPrediction и возвращает словарь, сопоставляющий строки с значениями метрик.

Инициализируйте CPOTrainer.

обучение

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

Параметры

  • resume_from_checkpoint (str или bool, необязательный) — Если передано значение типа str, это локальный путь к сохранённой контрольной точке, созданной предыдущим экземпляром Trainer. Если передано значение типа bool и оно равно True, загружается последняя контрольная точка из args.output_dir, сохранённая предыдущим экземпляром Trainer. Если параметр указан, обучение возобновляется из состояний модели/оптимизатора/планировщика, загруженных из этой контрольной точки.
  • trial (optuna.Trial или dict[str, Any], необязательный) — Запуск испытания или словарь гиперпараметров для поиска гиперпараметров.
  • ignore_keys_for_eval (list[str], необязательный) — Список ключей в выводе вашей модели (если он представляет собой словарь), которые следует игнорировать при сборе предсказаний для оценки во время обучения.

Возвращает

~trainer_utils.TrainOutput

Объект, содержащий количество глобальных шагов, потерю обучения и метрики.

Основная точка входа для обучения.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().

Сохранение будет выполняться только из основного процесса.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Параметры

  • commit_message (str, необязательный, по умолчанию "End of training") — Сообщение для коммита при отправке.
  • blocking (bool, необязательный, по умолчанию True) — Определяет, должна ли функция возвращаться только после завершения git push.
  • token (str, необязательный, по умолчанию None) — Токен с правом записи для перезаписи исходных аргументов Trainer.
  • revision (str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”.
  • private (bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значение args.hub_private_repo. Не имеет эффекта, если репозиторий уже существует.
  • kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в ~Trainer.create_model_card.

Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.

CPOConfig

класс trl.experimental.cpo.CPOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Truelabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1max_length: int | None = 1024max_completion_length: int | None = Nonebeta: float = 0.1label_smoothing: float = 0.0loss_type: str = 'sigmoid'disable_dropout: bool = Truecpo_alpha: float = 1.0simpo_gamma: float = 0.5alpha: float = 0.0generate_during_eval: bool = Falseis_encoder_decoder: bool | None = Nonemodel_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falsedataset_num_proc: int | None = None )

Параметры

  • max_length (int or None, необязательный, по умолчанию 1024) — Максимальная длина последовательностей (prompt + completion) в батче. Этот аргумент обязателен, если вы хотите использовать стандартный data collator.
  • max_completion_length (int, необязательный) — Максимальная длина завершения. Этот аргумент обязателен, если вы хотите использовать стандартный коллаборатор данных, а ваша модель является моделью типа «кодировщик-декодировщик».
  • beta (float, необязательный, по умолчанию 0.1) — Параметр, контролирующий отклонение от эталонной модели. Чем выше β, тем меньше отклонение от эталонной модели. Для функции потерь IPO (loss_type="ipo") β является параметром регуляризации, обозначенным как τ в статье.
  • label_smoothing (float, необязательный, по умолчанию 0.0) — Коэффициент сглаживания меток. Этот аргумент обязателен, если вы хотите использовать стандартный коллаборатор данных.
  • loss_type (str, необязательный, по умолчанию "sigmoid") — Тип используемой функции потерь. Возможные значения:
    • "sigmoid": сигмоидная функция потерь из оригинальной статьи DPO.
    • "hinge": функция потерь hinge для нормализованной правдоподобности из статьи SLiC.
    • "ipo": функция потерь IPO из статьи IPO.
    • "simpo": функция потерь SimPO из статьи SimPO.
    • "alphapo": функция потерь AlphaPO из статьи AlphaPO. Это автоматически устанавливает loss_type="simpo" и cpo_alpha=0.0.
  • disable_dropout (bool, необязательный, по умолчанию True) — Определяет, следует ли отключить dropout в модели.
  • cpo_alpha (float, необязательный, по умолчанию 1.0) — Вес регуляризатора BC в обучении CPO.
  • simpo_gamma (float, необязательный, по умолчанию 0.5) — Целевой разрыв вознаграждения для функции потерь SimPO, используется только при loss_type="simpo".
  • alpha (float, необязательный, по умолчанию 0.0) — Параметр, управляющий формой функции вознаграждения для всех типов потерь. При значении 0 (по умолчанию) используются стандартные вознаграждения на основе логарифмической вероятности. При alpha != 0 применяется преобразование AlphaPO: r = (1 - p^(-alpha)) / alpha из статьи AlphaPO. Этот параметр работает со всеми типами потерь.
  • generate_during_eval (bool, необязательный, по умолчанию False) — Если True, генерирует и записывает в журнал ответы модели в W&B или Comet во время оценки.
  • is_encoder_decoder (bool, необязательный) — При использовании аргумента model_init (вызываемый объект) для создания модели вместо аргумента model необходимо указать, является ли модель, возвращаемая вызываемым объектом, моделью типа encoder-decoder.
  • model_init_kwargs (dict[str, Any], необязательный) — Параметры, передаваемые в AutoModelForCausalLM.from_pretrained при создании модели из строки. Значение revision также используется при загрузке класса обработки.
  • trust_remote_code (bool, необязательный, по умолчанию False) — Разрешает ли загрузку моделей, содержащих собственный Python-код из Hub. Передаётся в from_pretrained.
  • dataset_num_proc (int, необязательный) — Количество процессов, используемых для обработки набора данных.

Класс конфигурации для experimental.cpo.CPOTrainer.

Этот класс содержит только параметры, специфичные для обучения CPO. Полный список аргументов обучения см. в документации TrainingArguments. Обратите внимание, что значения по умолчанию в этом классе могут отличаться от значений в TrainingArguments.

С помощью HfArgumentParser мы можем превратить этот класс в аргументы argparse, которые можно указать в командной строке.

Эти параметры имеют значения по умолчанию, отличные от TrainingArguments:

  • logging_steps: по умолчанию 10, а не 500.
  • gradient_checkpointing: по умолчанию True, а не False.
  • bf16: по умолчанию True, если не задан fp16, а не False.
  • learning_rate: по умолчанию 1e-6, а не 5e-5.
Update on GitHub