TRL documentation

A2PO

You are viewing v1.18.1 version. A newer version v1.18.2 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

A2PO

model badge

TRL hỗ trợ A*-PO (Hồi quy Lợi thế Tối ưu) như được mô tả trong bài báo Accelerating RL for LLM Reasoning with Optimal Advantage Regression của Kianté Brantley, Mingyu Chen, Zhaolin Gao, Jason D. Lee, Wen Sun, Wenhao Zhan và Xuezhou Zhang.

Tóm tắt từ bài báo như sau:

Học tăng cường (RL) đã nổi lên như một công cụ mạnh mẽ để tinh chỉnh các mô hình ngôn ngữ lớn (LLM), nhằm cải thiện khả năng suy luận phức tạp. Tuy nhiên, các phương pháp tối ưu hóa chính sách tiên tiến thường gặp phải chi phí tính toán và mức tiêu thụ bộ nhớ cao, chủ yếu do nhu cầu tạo ra nhiều lần cho mỗi prompt và sự phụ thuộc vào các mạng đánh giá (critic networks) hoặc các ước lượng lợi thế (advantage estimates) của chính sách hiện tại. Trong bài báo này, chúng tôi đề xuất A*-PO, một khung tối ưu hóa chính sách hai giai đoạn mới, cho phép xấp xỉ trực tiếp hàm lợi thế tối ưu và hỗ trợ huấn luyện hiệu quả các LLM cho các tác vụ suy luận. Ở giai đoạn đầu, chúng tôi tận dụng việc lấy mẫu ngoại tuyến (offline sampling) từ một chính sách tham chiếu để ước lượng hàm giá trị tối ưu V*, loại bỏ nhu cầu ước lượng giá trị trực tuyến (online value estimation) tốn kém. Ở giai đoạn thứ hai, chúng tôi thực hiện các cập nhật theo chính sách (on-policy updates) bằng cách sử dụng một hàm mất mát hồi quy bình phương nhỏ đơn giản, chỉ với một lần tạo ra cho mỗi prompt. Về mặt lý thuyết, chúng tôi thiết lập các đảm bảo về hiệu suất và chứng minh rằng mục tiêu RL có điều chỉnh KL có thể được tối ưu hóa mà không cần đến các chiến lược khám phá phức tạp. Về mặt thực nghiệm, A*-PO đạt được hiệu suất cạnh tranh trên một loạt các bộ chuẩn đánh giá (benchmarks) suy luận toán học, đồng thời giảm thời gian huấn luyện lên đến 2 lần và mức sử dụng bộ nhớ đỉnh (peak memory usage) hơn 30% so với PPO, GRPO và REBEL.

Cách sử dụng

A*-PO giả định một phần thưởng nhị phân, có thể kiểm chứng (r ∈ {0, 1}) và chạy theo hai giai đoạn:

  1. Ước lượng giá trị ngoại tuyến. Trước khi huấn luyện, num_value_samples hoàn thành được lấy mẫu từ chính sách tham chiếu cho mỗi prompt và được chấm điểm bằng reward_funcs. Giá trị tối ưu V*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁)) được ước lượng và lưu đệm cho từng prompt.
  2. Quy hồi on-policy. Trong quá trình huấn luyện, một hoàn thành duy nhất được tạo ra cho mỗi prompt từ chính sách hiện tại. Tổn thất là sai số bình phương giữa phần thưởng ngầm β₂·log(π(y|x)/π_ref(y|x)) và lợi thế tối ưu r(x, y) − V*(x).
from trl.experimental.a2po import A2POConfig, A2POTrainer

# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
    return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]

training_args = A2POConfig(
    output_dir="Qwen2.5-0.5B-A2PO",
    num_value_samples=8,  # Stage 1: samples per prompt from the reference policy to estimate V*
    beta1=0.5,  # Stage 1: KL temperature for the V* estimate
    beta2=1e-3,  # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
    model="Qwen/Qwen2.5-0.5B",
    reward_funcs=reward_correct,
    args=training_args,
    train_dataset=...,
)
trainer.train()

Vì V* được ước lượng hoàn toàn từ các mẫu của chính sách tham chiếu, A*-PO không thể vượt quá Pass@K của chính sách tham chiếu. Bản triển khai chính thức có thể tìm thấy tại ZhaolinGao/A-PO.

A2POTrainer

class trl.experimental.a2po.A2POTrainer

< >

( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )

Tham số

  • model (PreTrainedModel hoặc str) — Mô hình cần được huấn luyện, hoặc một định danh mô hình (chuỗi) được truyền vào from_pretrained.
  • reward_funcs (Callable hoặc list[Callable]) — Hàm phần thưởng. Mỗi hàm nhận prompts và completions (cùng các cột của tập dữ liệu dưới dạng đối số từ khóa) và trả về một danh sách các phần thưởng dạng float. Khi cung cấp nhiều hàm, tổng có trọng số của chúng (xem A2POConfig.reward_weights) là phần thưởng vô hướng r, mà A*-PO giả định là nhị phân (trong {0, 1}).
  • args (experimental.a2po.A2POConfig, tùy chọn) — Cấu hình cho trainer này. Nếu None, một cấu hình mặc định sẽ được sử dụng.
  • train_dataset (Dataset, tùy chọn) — Bộ dữ liệu huấn luyện. Phải chứa cột "prompt".
  • eval_dataset (Dataset, tùy chọn) — Bộ dữ liệu đánh giá.
  • processing_class (PreTrainedTokenizerBase, tuỳ chọn) — Lớp xử lý được dùng để xử lý dữ liệu. Nếu là None, nó sẽ được tải từ tên mô hình bằng from_pretrained.
  • callbacks (list[~transformers.TrainerCallback], tùy chọn) — Danh sách các callback để tùy chỉnh vòng lặp huấn luyện.
  • optimizers (tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], tùy chọn, mặc định là (None, None)) — Bộ tuple chứa optimizer và trình lập lịch tốc độ học.

Trainer cho phương pháp A*-PO (Hồi quy Lợi thế Tối ưu), được giới thiệu trong Accelerating RL for LLM Reasoning with Optimal Advantage Regression.

A*-PO chạy theo hai giai đoạn:

  1. Ước lượng giá trị ngoại tuyến. Trước khi huấn luyện, num_value_samples hoàn thành được lấy mẫu từ chính sách tham chiếu cho mỗi prompt huấn luyện và được chấm điểm bằng reward_funcs. Giá trị tối ưu được ước lượng là V*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1)) và được lưu đệm theo từng prompt.
  2. Quy hồi on-policy. Trong quá trình huấn luyện, một hoàn thành duy nhất được tạo ra cho mỗi prompt từ chính sách hiện tại. Mất mát là sai số bình phương giữa phần thưởng ẩn beta2 * log(pi(y|x) / pi_ref(y|x)) và ước lượng lợi thế tối ưu r(x, y) - V*(x).

train

< >

( *args**kwargs )

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().

Chỉ lưu từ tiến trình chính.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

Tham số

  • commit_message (str, tùy chọn, mặc định là "End of training") — Thông điệp để commit khi đẩy lên.
  • blocking (bool, tùy chọn, mặc định là True) — Xác định xem hàm có chỉ trả về khi git push đã hoàn tất hay không.
  • token (str, tùy chọn, mặc định là None) — Token có quyền ghi để ghi đè lên các args gốc của Trainer.
  • revision (str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”.
  • private (bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định là args.hub_private_repo. Không có tác dụng nếu kho đã tồn tại.
  • kwargs (dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến ~Trainer.create_model_card.

Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.

A2POConfig

class trl.experimental.a2po.A2POConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )

Các tham số kiểm soát mô hình và mô hình tham chiếu

  • model_init_kwargs (dict[str, Any], tùy chọn) — Các đối số dạng từ khóa cho from_pretrained, được sử dụng khi đối số model của experimental.a2po.A2POTrainer được cung cấp dưới dạng chuỗi. Giá trị revision cũng được sử dụng khi nạp lớp xử lý.
  • trust_remote_code (bool, tùy chọn, mặc định là False) — Có cho phép tải các model và tokenizer có kèm theo mã Python tùy chỉnh từ Hub hay không. Tham số này được chuyển tiếp đến from_pretrained và from_pretrained.

Các tham số kiểm soát tiền xử lý dữ liệu

  • remove_unused_columns (bool, tùy chọn, mặc định là False) — Có nên chỉ giữ lại cột "prompt" trong tập dữ liệu hay không. Nếu bạn sử dụng một hàm thưởng tùy chỉnh yêu cầu bất kỳ cột nào khác ngoài "prompts" và "completions", bạn nên giữ giá trị này là False.

Các tham số kiểm soát quá trình sinh

  • max_prompt_length (int hoặc None, tùy chọn, mặc định là 512) — Độ dài tối đa của prompt. Nếu prompt dài hơn giá trị này, nó sẽ bị cắt bớt từ phía bên trái.
  • max_completion_length (int hoặc None, tùy chọn, mặc định là 256) — Độ dài tối đa của phần hoàn thành được tạo ra.
  • temperature (float, tùy chọn, mặc định là 1.0) — Nhiệt độ lấy mẫu, được sử dụng trong cả giai đoạn 1 và giai đoạn 2 của quá trình tạo.
  • top_p (float, tùy chọn, mặc định là 1.0) — Kiểm soát xác suất tích lũy của các token hàng đầu cần xem xét. Phải nằm trong khoảng (0, 1]. Đặt thành 1.0 để xem xét tất cả các token.
  • top_k (int hoặc None, tùy chọn) — Số lượng token từ vựng có xác suất cao nhất cần giữ lại. Nếu là None, lọc top-k sẽ bị tắt.

Các tham số kiểm soát Giai đoạn 1 (ước lượng giá trị tối ưu ngoại tuyến)

  • num_value_samples (int, tuỳ chọn, mặc định là 8) — Số lượng mẫu được lấy từ chính sách tham chiếu cho mỗi prompt để ước lượng V*.
  • beta1 (float, tùy chọn, mặc định là 0.5) — Nhiệt độ KL được sử dụng để ước lượng V* trong Giai đoạn 1.
  • filter_all_incorrect (bool, tùy chọn, mặc định là True) — Có nên loại bỏ các prompt mà tất cả các mẫu tham chiếu đều không chính xác hay không.

Các tham số kiểm soát Stage 2 (hồi quy on-policy)

  • beta2 (float, tùy chọn, mặc định là 1e-3) — Nhiệt độ KL được sử dụng trong mục tiêu hồi quy ở Giai đoạn 2.
  • reward_weights (list[float], tùy chọn) — Trọng số cho mỗi hàm phần thưởng. Phải khớp với số lượng các hàm phần thưởng. Nếu là None, tất cả các phần thưởng sẽ được cân bằng với trọng số 1.0.

Lớp cấu hình cho experimental.a2po.A2POTrainer.

Lớp này chỉ bao gồm các tham số đặc thù cho huấn luyện A2PO. Để xem danh sách đầy đủ các đối số huấn luyện, hãy tham khảo tài liệu TrainingArguments. Lưu ý rằng các giá trị mặc định trong lớp này có thể khác với các giá trị trong TrainingArguments.

Update on GitHub