TRL documentation

A2PO

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

A2PO

model badge

TRL поддерживает A*-PO (Optimal Advantage Regression), как описано в статье Accelerating RL for LLM Reasoning with Optimal Advantage Regression авторов Kianté Brantley, Mingyu Chen, Zhaolin Gao, Jason D. Lee, Wen Sun, Wenhao Zhan и Xuezhou Zhang.

Аннотация из статьи следующая:

Методы обучения с подкреплением (RL) стали мощным инструментом для дообучения больших языковых моделей (LLM) с целью улучшения сложных навыков рассуждения. Однако передовые методы оптимизации политик часто страдают от высоких вычислительных затрат и потребления памяти, что в первую очередь обусловлено необходимостью генерации нескольких ответов на один запрос и зависимостью от сетей критика или оценок преимуществ текущей политики. В данной статье мы предлагаем A*-PO — новый двухэтапный фреймворк оптимизации политик, который напрямую аппроксимирует оптимальную функцию преимуществ и обеспечивает эффективное обучение LLM для задач рассуждения. На первом этапе мы используем офлайн-выборку из эталонной политики для оценки оптимальной функции ценности V*, что исключает необходимость дорогостоящей онлайн-оценки ценности. На втором этапе мы выполняем обновления в рамках текущей политики (on-policy), используя простую функцию потерь на основе метода наименьших квадратов и генерируя лишь один ответ на запрос. Теоретически мы устанавливаем гарантии производительности и доказываем, что целевая функция RL с регуляризацией KL может быть оптимизирована без применения сложных стратегий исследования. Эмпирически A*-PO демонстрирует конкурентоспособные результаты на широком спектре бенчмарков математического рассуждения, сокращая время обучения до 2 раз и пиковое потребление памяти более чем на 30% по сравнению с PPO, GRPO и REBEL.

Использование

A*-PO предполагает бинарную проверяемую награду (r ∈ {0, 1}) и выполняется в два этапа:

  1. Оценка ценности в оффлайн-режиме. Перед обучением для каждого промпта из эталонной политики отбирается num_value_samples завершений, которые оцениваются с помощью reward_funcs. Оптимальная ценность V*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁)) оценивается и кэшируется для каждого промпта.
  2. Регрессия по текущей политике. Во время обучения для каждого промпта генерируется одно завершение из текущей политики. Потеря представляет собой квадратичную ошибку между неявной наградой β₂·log(π(y|x)/π_ref(y|x)) и оптимальным преимуществом r(x, y) − V*(x).
from trl.experimental.a2po import A2POConfig, A2POTrainer

# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
    return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]

training_args = A2POConfig(
    output_dir="Qwen2.5-0.5B-A2PO",
    num_value_samples=8,  # Stage 1: samples per prompt from the reference policy to estimate V*
    beta1=0.5,  # Stage 1: KL temperature for the V* estimate
    beta2=1e-3,  # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
    model="Qwen/Qwen2.5-0.5B",
    reward_funcs=reward_correct,
    args=training_args,
    train_dataset=...,
)
trainer.train()

Поскольку V* оценивается исключительно по выборкам эталонной политики, A*-PO не может превзойти Pass@K эталонной политики. Официальная реализация доступна по адресу ZhaolinGao/A-PO.

A2POTrainer

класс trl.experimental.a2po.A2POTrainer

< >

( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )

Параметры

  • model (PreTrainedModel или str) — Модель, подлежащая обучению, или идентификатор модели (строка), передаваемый в from_pretrained.
  • reward_funcs (Callable или list[Callable]) — Функция(и) вознаграждения. Каждая принимает prompts и completions (а также столбцы набора данных в качестве именованных аргументов) и возвращает список вознаграждений типа float. Если указано несколько функций, их взвешенная сумма (см. A2POConfig.reward_weights) является скалярным вознаграждением r, которое A*-PO считает бинарным (в {0, 1}).
  • args (experimental.a2po.A2POConfig, необязательный) — Конфигурация для этого тренера. Если None, используется конфигурация по умолчанию.
  • train_dataset (Dataset, необязательный) — Набор данных для обучения. Должен содержать столбец "prompt".
  • eval_dataset (Dataset, необязательный) — Набор данных для оценки.
  • processing_class (PreTrainedTokenizerBase, необязательный) — Класс обработки, используемый для обработки данных. Если None, он загружается по имени модели с помощью from_pretrained.
  • callbacks (list[~transformers.TrainerCallback], необязательный) — Список колбэков для настройки цикла обучения.
  • optimizers (tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], необязательный, по умолчанию (None, None)) — Кортеж, содержащий оптимизатор и планировщик скорости обучения.

Trainer для метода A*-PO (Optimal Advantage Regression), представленного в статье Accelerating RL for LLM Reasoning with Optimal Advantage Regression.

A*-PO выполняется в два этапа:

  1. Оценка ценности в оффлайн-режиме. Перед обучением для каждого обучающего промпта из эталонной политики отбирается num_value_samples завершений, которые оцениваются с помощью reward_funcs. Оптимальная ценность оценивается как V*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1)) и кэшируется для каждого промпта.
  2. Регрессия по текущей политике. Во время обучения для каждого промпта генерируется одно завершение из текущей политики. Потеря представляет собой квадратичную ошибку между неявной наградой beta2 * log(pi(y|x) / pi_ref(y|x)) и оптимальной оценкой преимущества r(x, y) - V*(x).

обучение

< >

( *args**kwargs )

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Сохранит модель, чтобы вы могли загрузить её снова с помощью from_pretrained().

Сохранение будет выполняться только из основного процесса.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Параметры

  • commit_message (str, необязательный, по умолчанию "End of training") — Сообщение для коммита при отправке.
  • blocking (bool, необязательный, по умолчанию True) — Определяет, должна ли функция возвращаться только после завершения git push.
  • token (str, необязательный, по умолчанию None) — Токен с правом записи для перезаписи исходных аргументов Trainer.
  • revision (str, необязательный) — Git-ревизия, от которой выполняется коммит. По умолчанию используется head ветки “main”.
  • private (bool, необязательный) — Определяет, следует ли сделать репозиторий приватным при его создании. По умолчанию используется значение args.hub_private_repo. Не имеет эффекта, если репозиторий уже существует.
  • kwargs (dict[str, Any], необязательный) — Дополнительные именованные аргументы, передаваемые в ~Trainer.create_model_card.

Загрузите self.model и self.processing_class в модельный хаб 🤗 в репозиторий self.args.hub_model_id.

A2POConfig

класс trl.experimental.a2po.A2POConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )

Параметры, управляющие моделью и эталонной моделью

  • model_init_kwargs (dict[str, Any], необязательный) — Параметры-ключи для from_pretrained, используемые, когда аргумент model в experimental.a2po.A2POTrainer передан в виде строки. Значение revision также используется при загрузке класса обработки.
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained.

Параметры, управляющие предобработкой данных

  • remove_unused_columns (bool, необязательный, по умолчанию False) — Определяет, следует ли в наборе данных оставлять только столбец "prompt". Если вы используете пользовательскую функцию вознаграждения, которая требует столбец, отличный от "prompts" и "completions", оставьте это значение равным False.

Параметры, управляющие генерацией

  • max_prompt_length (int or None, необязательный, по умолчанию 512) — Максимальная длина промпта. Если промпт длиннее этого значения, он обрезается слева.
  • max_completion_length (int или None, необязательный, по умолчанию 256) — Максимальная длина сгенерированного завершения.
  • temperature (float, необязательный, по умолчанию 1.0) — Температура выборки, используемая при генерации на этапах 1 и 2.
  • top_p (float, необязательный, по умолчанию 1.0) — Число с плавающей точкой, управляющее накопительной вероятностью верхних токенов, которые следует учитывать. Должно находиться в интервале (0, 1]. Установите значение 1.0, чтобы учитывать все токены.
  • top_k (int or None, необязательный) — Количество токенов словаря с наивысшей вероятностью, которые следует сохранить. Если None, фильтрация top-k отключена.

Параметры, управляющие этапом 1 (оценка оптимального значения в автономном режиме)

  • num_value_samples (int, необязательный, по умолчанию 8) — Количество выборок, извлекаемых из эталонной политики для каждого запроса, для оценки V*.
  • beta1 (float, необязательный, по умолчанию 0.5) — температура KL, используемая для оценки V* на этапе 1.
  • filter_all_incorrect (bool, необязательный, по умолчанию True) — Определяет, следует ли отбрасывать промпты, для которых все эталонные образцы являются неверными.

Параметры, управляющие Stage 2 (регрессия on-policy)

  • beta2 (float, необязательный, по умолчанию 1e-3) — температура KL, используемая в целевой функции регрессии на этапе 2.
  • reward_weights (list[float], необязательный) — Веса для каждой функции вознаграждения. Количество должно совпадать с числом функций вознаграждения. Если None, все вознаграждения взвешиваются одинаково с весом 1.0.

Класс конфигурации для experimental.a2po.A2POTrainer.

Этот класс содержит только параметры, специфичные для обучения A2PO. Полный список аргументов обучения см. в документации TrainingArguments. Обратите внимание, что значения по умолчанию в этом классе могут отличаться от значений в TrainingArguments.

Update on GitHub