TRL documentation
A2PO
A2PO
TRL hỗ trợ A*-PO (Hồi quy Lợi thế Tối ưu) như được mô tả trong bài báo Accelerating RL for LLM Reasoning with Optimal Advantage Regression của Kianté Brantley, Mingyu Chen, Zhaolin Gao, Jason D. Lee, Wen Sun, Wenhao Zhan và Xuezhou Zhang.
Tóm tắt từ bài báo như sau:
Học tăng cường (RL) đã nổi lên như một công cụ mạnh mẽ để tinh chỉnh các mô hình ngôn ngữ lớn (LLM), nhằm cải thiện khả năng suy luận phức tạp. Tuy nhiên, các phương pháp tối ưu hóa chính sách tiên tiến thường gặp phải chi phí tính toán và mức tiêu thụ bộ nhớ cao, chủ yếu do nhu cầu tạo ra nhiều lần cho mỗi prompt và sự phụ thuộc vào các mạng đánh giá (critic networks) hoặc các ước lượng lợi thế (advantage estimates) của chính sách hiện tại. Trong bài báo này, chúng tôi đề xuất A*-PO, một khung tối ưu hóa chính sách hai giai đoạn mới, cho phép xấp xỉ trực tiếp hàm lợi thế tối ưu và hỗ trợ huấn luyện hiệu quả các LLM cho các tác vụ suy luận. Ở giai đoạn đầu, chúng tôi tận dụng việc lấy mẫu ngoại tuyến (offline sampling) từ một chính sách tham chiếu để ước lượng hàm giá trị tối ưu V*, loại bỏ nhu cầu ước lượng giá trị trực tuyến (online value estimation) tốn kém. Ở giai đoạn thứ hai, chúng tôi thực hiện các cập nhật theo chính sách (on-policy updates) bằng cách sử dụng một hàm mất mát hồi quy bình phương nhỏ đơn giản, chỉ với một lần tạo ra cho mỗi prompt. Về mặt lý thuyết, chúng tôi thiết lập các đảm bảo về hiệu suất và chứng minh rằng mục tiêu RL có điều chỉnh KL có thể được tối ưu hóa mà không cần đến các chiến lược khám phá phức tạp. Về mặt thực nghiệm, A*-PO đạt được hiệu suất cạnh tranh trên một loạt các bộ chuẩn đánh giá (benchmarks) suy luận toán học, đồng thời giảm thời gian huấn luyện lên đến 2 lần và mức sử dụng bộ nhớ đỉnh (peak memory usage) hơn 30% so với PPO, GRPO và REBEL.
Cách sử dụng
A*-PO giả định một phần thưởng nhị phân, có thể kiểm chứng (r ∈ {0, 1}) và chạy theo hai giai đoạn:
- Ước lượng giá trị ngoại tuyến. Trước khi huấn luyện,
num_value_sampleshoàn thành được lấy mẫu từ chính sách tham chiếu cho mỗi prompt và được chấm điểm bằngreward_funcs. Giá trị tối ưuV*(x) = β₁·log(mean_i exp(r(x, yᵢ)/β₁))được ước lượng và lưu đệm cho từng prompt. - Quy hồi on-policy. Trong quá trình huấn luyện, một hoàn thành duy nhất được tạo ra cho mỗi prompt từ chính sách hiện tại. Tổn thất là sai số bình phương giữa phần thưởng ngầm
β₂·log(π(y|x)/π_ref(y|x))và lợi thế tối ưur(x, y) − V*(x).
from trl.experimental.a2po import A2POConfig, A2POTrainer
# A*-PO assumes a binary, verifiable reward in {0, 1}.
def reward_correct(completions, ground_truth, **kwargs):
return [float(completion.strip() == truth) for completion, truth in zip(completions, ground_truth)]
training_args = A2POConfig(
output_dir="Qwen2.5-0.5B-A2PO",
num_value_samples=8, # Stage 1: samples per prompt from the reference policy to estimate V*
beta1=0.5, # Stage 1: KL temperature for the V* estimate
beta2=1e-3, # Stage 2: KL temperature for the regression target
)
trainer = A2POTrainer(
model="Qwen/Qwen2.5-0.5B",
reward_funcs=reward_correct,
args=training_args,
train_dataset=...,
)
trainer.train()Vì V* được ước lượng hoàn toàn từ các mẫu của chính sách tham chiếu, A*-PO không thể vượt quá Pass@K của chính sách tham chiếu. Bản triển khai chính thức có thể tìm thấy tại ZhaolinGao/A-PO.
A2POTrainer
class trl.experimental.a2po.A2POTrainer
< source >( model: transformers.modeling_utils.PreTrainedModel | strreward_funcs: collections.abc.Callable[..., list[float]] | list[collections.abc.Callable[..., list[float]]]args: trl.experimental.a2po.a2po_config.A2POConfig | None = Nonetrain_dataset = Noneeval_dataset = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | None = Nonecallbacks = Noneoptimizers = (None, None) )
Tham số
- model (
PreTrainedModelhoặcstr) — Mô hình cần được huấn luyện, hoặc một định danh mô hình (chuỗi) được truyền vào from_pretrained. - reward_funcs (
Callablehoặclist[Callable]) — Hàm phần thưởng. Mỗi hàm nhậnpromptsvàcompletions(cùng các cột của tập dữ liệu dưới dạng đối số từ khóa) và trả về một danh sách các phần thưởng dạng float. Khi cung cấp nhiều hàm, tổng có trọng số của chúng (xemA2POConfig.reward_weights) là phần thưởng vô hướngr, mà A*-PO giả định là nhị phân (trong{0, 1}). - args (experimental.a2po.A2POConfig, tùy chọn) —
Cấu hình cho trainer này. Nếu
None, một cấu hình mặc định sẽ được sử dụng. - train_dataset (Dataset, tùy chọn) —
Bộ dữ liệu huấn luyện. Phải chứa cột
"prompt". - eval_dataset (Dataset, tùy chọn) — Bộ dữ liệu đánh giá.
- processing_class (PreTrainedTokenizerBase, tuỳ chọn) —
Lớp xử lý được dùng để xử lý dữ liệu. Nếu là
None, nó sẽ được tải từ tên mô hình bằng from_pretrained. - callbacks (
list[~transformers.TrainerCallback], tùy chọn) — Danh sách các callback để tùy chỉnh vòng lặp huấn luyện. - optimizers (
tuple[~torch.optim.Optimizer, ~torch.optim.lr_scheduler.LambdaLR], tùy chọn, mặc định là(None, None)) — Bộ tuple chứa optimizer và trình lập lịch tốc độ học.
Trainer cho phương pháp A*-PO (Hồi quy Lợi thế Tối ưu), được giới thiệu trong Accelerating RL for LLM Reasoning with Optimal Advantage Regression.
A*-PO chạy theo hai giai đoạn:
- Ước lượng giá trị ngoại tuyến. Trước khi huấn luyện,
num_value_sampleshoàn thành được lấy mẫu từ chính sách tham chiếu cho mỗi prompt huấn luyện và được chấm điểm bằngreward_funcs. Giá trị tối ưu được ước lượng làV*(x) = beta1 * log(mean_i exp(r(x, y_i) / beta1))và được lưu đệm theo từng prompt. - Quy hồi on-policy. Trong quá trình huấn luyện, một hoàn thành duy nhất được tạo ra cho mỗi prompt từ chính sách hiện tại.
Mất mát là sai số bình phương giữa phần thưởng ẩn
beta2 * log(pi(y|x) / pi_ref(y|x))và ước lượng lợi thế tối ưur(x, y) - V*(x).
Sẽ lưu mô hình, để bạn có thể tải lại bằng from_pretrained().
Chỉ lưu từ tiến trình chính.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
Tham số
- commit_message (
str, tùy chọn, mặc định là"End of training") — Thông điệp để commit khi đẩy lên. - blocking (
bool, tùy chọn, mặc định làTrue) — Xác định xem hàm có chỉ trả về khigit pushđã hoàn tất hay không. - token (
str, tùy chọn, mặc định làNone) — Token có quyền ghi để ghi đè lên các args gốc của Trainer. - revision (
str, tùy chọn) — Phiên bản git để commit từ. Mặc định là đầu của nhánh “main”. - private (
bool, tuỳ chọn) — Xác định xem có đặt kho thành riêng tư khi tạo hay không. Mặc định làargs.hub_private_repo. Không có tác dụng nếu kho đã tồn tại. - kwargs (
dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến~Trainer.create_model_card.
Tải self.model và self.processing_class lên 🤗 model hub tại repo self.args.hub_model_id.
A2POConfig
class trl.experimental.a2po.A2POConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 5e-05lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool | None = Nonegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict | None = Nonetrust_remote_code: bool = Falsemax_prompt_length: int | None = 512max_completion_length: int | None = 256temperature: float = 1.0top_p: float = 1.0top_k: int | None = Nonenum_value_samples: int = 8beta1: float = 0.5filter_all_incorrect: bool = Truebeta2: float = 0.001reward_weights: list[float] | None = None )
Các tham số kiểm soát mô hình và mô hình tham chiếu
- model_init_kwargs (
dict[str, Any], tùy chọn) — Các đối số dạng từ khóa cho from_pretrained, được sử dụng khi đối sốmodelcủa experimental.a2po.A2POTrainer được cung cấp dưới dạng chuỗi. Giá trịrevisioncũng được sử dụng khi nạp lớp xử lý. - trust_remote_code (
bool, tùy chọn, mặc định làFalse) — Có cho phép tải các model và tokenizer có kèm theo mã Python tùy chỉnh từ Hub hay không. Tham số này được chuyển tiếp đến from_pretrained và from_pretrained.
Các tham số kiểm soát tiền xử lý dữ liệu
- remove_unused_columns (
bool, tùy chọn, mặc định làFalse) — Có nên chỉ giữ lại cột"prompt"trong tập dữ liệu hay không. Nếu bạn sử dụng một hàm thưởng tùy chỉnh yêu cầu bất kỳ cột nào khác ngoài"prompts"và"completions", bạn nên giữ giá trị này làFalse.
Các tham số kiểm soát quá trình sinh
- max_prompt_length (
inthoặcNone, tùy chọn, mặc định là512) — Độ dài tối đa của prompt. Nếu prompt dài hơn giá trị này, nó sẽ bị cắt bớt từ phía bên trái. - max_completion_length (
inthoặcNone, tùy chọn, mặc định là256) — Độ dài tối đa của phần hoàn thành được tạo ra. - temperature (
float, tùy chọn, mặc định là1.0) — Nhiệt độ lấy mẫu, được sử dụng trong cả giai đoạn 1 và giai đoạn 2 của quá trình tạo. - top_p (
float, tùy chọn, mặc định là1.0) — Kiểm soát xác suất tích lũy của các token hàng đầu cần xem xét. Phải nằm trong khoảng (0, 1]. Đặt thành1.0để xem xét tất cả các token. - top_k (
inthoặcNone, tùy chọn) — Số lượng token từ vựng có xác suất cao nhất cần giữ lại. Nếu làNone, lọc top-k sẽ bị tắt.
Các tham số kiểm soát Giai đoạn 1 (ước lượng giá trị tối ưu ngoại tuyến)
- num_value_samples (
int, tuỳ chọn, mặc định là8) — Số lượng mẫu được lấy từ chính sách tham chiếu cho mỗi prompt để ước lượngV*. - beta1 (
float, tùy chọn, mặc định là0.5) — Nhiệt độ KL được sử dụng để ước lượngV*trong Giai đoạn 1. - filter_all_incorrect (
bool, tùy chọn, mặc định làTrue) — Có nên loại bỏ các prompt mà tất cả các mẫu tham chiếu đều không chính xác hay không.
Các tham số kiểm soát Stage 2 (hồi quy on-policy)
Lớp cấu hình cho experimental.a2po.A2POTrainer.
Lớp này chỉ bao gồm các tham số đặc thù cho huấn luyện A2PO. Để xem danh sách đầy đủ các đối số huấn luyện, hãy tham khảo tài liệu TrainingArguments. Lưu ý rằng các giá trị mặc định trong lớp này có thể khác với các giá trị trong TrainingArguments.