TRL documentation
A2PO
A2PO
TRL поддерживает A*-PO (Optimal Advantage Regression), как описано в статье Accelerating RL for LLM Reasoning with Optimal Advantage Regression авторов Kianté Brantley, Mingyu Chen, Zhaolin Gao, Jason D. Lee, Wen Sun, Wenhao Zhan и Xuezhou Zhang.
Аннотация из статьи следующая:
Методы обучения с подкреплением (RL) стали мощным инструментом для дообучения больших языковых моделей (LLM) с целью улучшения сложных навыков рассуждения. Однако передовые методы оптимизации политик часто страдают от высоких вычислительных затрат и потребления памяти, что в первую очередь обусловлено необходимостью генерации нескольких ответов на один запрос и зависимостью от сетей критика или оценок преимуществ текущей политики. В данной статье мы предлагаем A*-PO — новый двухэтапный фреймворк оптимизации политик, который напрямую аппроксимирует оптимальную функцию преимуществ и обеспечивает эффективное обучение LLM для задач рассуждения. На первом этапе мы используем офлайн-выборку из эталонной политики для оценки оптимальной функции ценности V*, что исключает необходимость дорогостоящей онлайн-оценки ценности. На втором этапе мы выполняем обновления в рамках текущей политики (on-policy), используя простую функцию потерь на основе метода наименьших квадратов и генерируя лишь один ответ на запрос. Теоретически мы устанавливаем гарантии производительности и доказываем, что целевая функция RL с регуляризацией KL может быть оптимизирована без применения сложных стратегий исследования. Эмпирически A*-PO демонстрирует конкурентоспособные результаты на широком спектре бенчмарков математического рассуждения, сокращая время обучения до 2 раз и пиковое потребление памяти более чем на 30% по сравнению с PPO, GRPO и REBEL.
Использование
A*-PO предполагает бинарную проверяемую награду (r ∈ {0, 1}) и выполняется в два этапа:
- Оценка ценности в оффлайн-режиме. Перед обучением для каждого промпта из эталонной политики отбирается
num_value_samplesзавершений, которые оцениваются с помощьюreward_funcs. Оптимальная ценностьV*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁))оценивается и кэшируется для каждого промпта. - Регрессия по текущей политике. Во время обучения для каждого промпта генерируется одно завершение из текущей политики. Потеря представляет собой квадратичную ошибку между неявной наградой
β₂·log(π(y|x)/π_ref(y|x))и оптимальным преимуществомr(x, y) − V*(x).
from trl.experimental.a2po import A2POConfig, A2POTrainer
# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]
training_args = A2POConfig(
output_dir="Qwen2.5-0.5B-A2PO",
num_value_samples=8, # Stage 1: samples per prompt from the reference policy to estimate V*
beta1=0.5, # Stage 1: KL temperature for the V* estimate
beta2=1e-3, # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
model="Qwen/Qwen2.5-0.5B",
reward_funcs=reward_correct,
args=training_args,
train_dataset=...,
)
trainer.train()Поскольку V* оценивается исключительно по выборкам эталонной политики, A*-PO не может превзойти Pass@K эталонной политики. Официальная реализация доступна по адресу ZhaolinGao/A-PO.
A2POTrainer
класс trl.experimental.a2po.A2POTrainer
< source >( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )
Параметры
- model (
PreTrainedModelилиstr) — Модель, подлежащая обучению, или идентификатор модели (строка), передаваемый в from_pretrained. - reward_funcs (
Callableилиlist[Callable]) — Функция(и) вознаграждения. Каждая принимаетpromptsиcompletions(а также столбцы набора данных в качестве именованных аргументов) и возвращает список вознаграждений типа float. Если указано несколько функций, их взвешенная сумма (см.A2POConfig.reward_weights) является скалярным вознаграждениемr, которое A*-PO считает бинарным (в{0, 1}). - args (experimental.a2po.A2POConfig, необязательный) —
Конфигурация для этого тренера. Если
None, используется конфигурация по умолчанию. - train_dataset (Dataset, необязательный) —
Набор данных для обучения. Должен содержать столбец
"prompt". - eval_dataset (Dataset, необязательный) — Набор данных для оценки.
- processing_class (PreTrainedTokenizerBase, необязательный) —
Класс обработки, используемый для обработки данных. Если
None, он загружается по имени модели с помощью from_pretrained. - callbacks (
list[~transformers.TrainerCallback], необязательный) — Список колбэков для настройки цикла обучения. - optimizers (
tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], необязательный, по умолчанию(None, None)) — Кортеж, содержащий оптимизатор и планировщик скорости обучения.
Trainer для метода A*-PO (Optimal Advantage Regression), представленного в статье Accelerating RL for LLM Reasoning with Optimal Advantage Regression.
A*-PO выполняется в два этапа:
- Оценка ценности в оффлайн-режиме. Перед обучением для каждого обучающего промпта из эталонной политики отбирается
num_value_samplesзавершений, которые оцениваются с помощьюreward_funcs. Оптимальная ценность оценивается какV*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1))и кэшируется для каждого промпта. - Регрессия по текущей политике. Во время обучения для каждого промпта генерируется одно завершение из текущей политики.
Потеря представляет собой квадратичную ошибку между неявной наградой
beta2 * log(pi(y|x) / pi_ref(y|x))и оптимальной оценкой преимуществаr(x, y) - V*(x).
Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().
Сохранение будет выполняться только из основного процесса.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Параметры
- commit_message (
str, необязательный, по умолчанию"End of training") — Сообщение для коммита при отправке. - blocking (
bool, необязательный, по умолчаниюTrue) — Определяет, должна ли функция возвращаться только после завершенияgit push. - token (
str, необязательный, по умолчаниюNone) — Токен с правом записи для перезаписи исходных аргументов Trainer. - revision (
str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”. - private (
bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значениеargs.hub_private_repo. Не имеет эффекта, если репозиторий уже существует. - kwargs (
dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в~Trainer.create_model_card.
Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.
A2POConfig
класс trl.experimental.a2po.A2POConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )
Параметры, управляющие моделью и эталонной моделью
- model_init_kwargs (
dict[str, Any], необязательный) — Параметры-ключи для from_pretrained, используемые, когда аргументmodelв experimental.a2po.A2POTrainer передан в виде строки. Значениеrevisionтакже используется при загрузке класса обработки. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained.
Параметры, управляющие предобработкой данных
- remove_unused_columns (
bool, необязательный, по умолчаниюFalse) — Определяет, следует ли в наборе данных оставлять только столбец"prompt". Если вы используете пользовательскую функцию вознаграждения, которая требует столбец, отличный от"prompts"и"completions", оставьте это значение равнымFalse.
Параметры, управляющие генерацией
- max_prompt_length (
intorNone, необязательный, по умолчанию512) — Максимальная длина промпта. Если промпт длиннее этого значения, он обрезается слева. - max_completion_length (
intилиNone, необязательный, по умолчанию256) — Максимальная длина сгенерированного завершения. - temperature (
float, необязательный, по умолчанию1.0) — Температура выборки, используемая при генерации на этапах 1 и 2. - top_p (
float, необязательный, по умолчанию1.0) — Число с плавающей точкой, управляющее накопительной вероятностью верхних токенов, которые следует учитывать. Должно находиться в интервале (0, 1]. Установите значение1.0, чтобы учитывать все токены. - top_k (
intorNone, необязательный) — Количество токенов словаря с наивысшей вероятностью, которые следует сохранить. ЕслиNone, фильтрация top-k отключена.
Параметры, управляющие этапом 1 (оценка оптимального значения в автономном режиме)
- num_value_samples (
int, необязательный, по умолчанию8) — Количество выборок, извлекаемых из эталонной политики для каждого запроса, для оценкиV*. - beta1 (
float, необязательный, по умолчанию0.5) — температура KL, используемая для оценкиV*на этапе 1. - filter_all_incorrect (
bool, необязательный, по умолчаниюTrue) — Определяет, следует ли отбрасывать промпты, для которых все эталонные образцы являются неверными.
Параметры, управляющие Stage 2 (регрессия on-policy)
- beta2 (
float, необязательный, по умолчанию1e-3) — температура KL, используемая в целевой функции регрессии на этапе 2. - reward_weights (
list[float], необязательный) — Веса для каждой функции вознаграждения. Количество должно совпадать с числом функций вознаграждения. ЕслиNone, все вознаграждения взвешиваются одинаково с весом1.0.
Класс конфигурации для experimental.a2po.A2POTrainer.
Этот класс содержит только параметры, специфичные для обучения A2PO. Полный список аргументов обучения см. в документации TrainingArguments. Обратите внимание, что значения по умолчанию в этом классе могут отличаться от значений в TrainingArguments.