TRL documentation
مدرب RLOO
مدرب RLOO
نظرة عامة
يدعم TRL مُدرّب RLOO لتدريب نماذج اللغة، كما هو موصوف في ورقة Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs من تأليف Arash Ahmadian وChris Cremer وMatthias Gallé وMarzieh Fadaee وJulia Kreutzer وAhmet Üstün وSara Hooker.
المستخلص من الورقة البحثية هو كالتالي:
يُعامل محاذاة الذكاء الاصطناعي على شكل التعلم المعزز من التغذية الراجعة البشرية (RLHF) بشكل متزايد كمكوّن حاسم للنماذج اللغوية الكبيرة عالية الأداء. وقد تم وضع تحسين السياسة القريب (PPO) من قِبل الأدبيات الحديثة كطريقة قياسية للجزء المتعلق بالتعلم المعزز في RLHF. ومع ذلك، فإنه ينطوي على تكلفة حسابية عالية وضبط حساس للمعاملات الفائقة. نفترض أن معظم المبادئ التحفيزية التي أدت إلى تطوير PPO أقل أهمية عملية في سياق RLHF، ونناشد بطرح طريقة أقل تكلفة من الناحية الحسابية تحافظ على الأداء بل وتزيده. نعيد النظر في صياغة المحاذاة من التفضيلات البشرية في سياق التعلم المعزز. مع الحفاظ على البساطة كمبدأ توجيهي، نُظهر أن العديد من مكونات PPO غير ضرورية في سياق RLHF، وأن متغيرات التحسين الأبسط بكثير على غرار REINFORCE تتفوق على كل من PPO والطرق "الخالية من التعلم المعزز" المقترحة حديثاً مثل DPO و RAFT. تقترح أعمالنا أن التكيف الدقيق مع خصائص محاذاة النماذج اللغوية الكبيرة يتيح الاستفادة من تحسين التعلم المعزز التفاعلي بتكلفة منخفضة.
تمت مساهمة طريقة ما بعد التدريب هذه من قِبل Costa Huang ثم أعيدت هيكلتها لاحقاً من قِبل Shirin Yamani.
البدء السريع
يُظهر هذا المثال كيفية تدريب نموذج باستخدام طريقة RLOO. نقوم بتدريب نموذج Qwen 0.5B Instruct باستخدام الأوامر من مجموعة بيانات DeepMath-103K. يمكنك عرض البيانات في مجموعة البيانات هنا:
فيما يلي السكربت لتدريب النموذج. يحتاج accuracy_reward إلى math-verify، والذي يمكنك تثبيته باستخدام pip install trl[math_verify].
# train_rloo.py
from datasets import load_dataset
from trl import RLOOTrainer
from trl.rewards import accuracy_reward
dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
trainer = RLOOTrainer(
model="Qwen/Qwen2-0.5B-Instruct",
reward_funcs=accuracy_reward,
train_dataset=dataset,
)
trainer.train()نفّذ السكربت باستخدام الأمر التالي:
torchrun --nproc_per_node 8 train_rloo.py
النظر بعمق أكبر في طريقة RLOO
RLOO هو خوارزمية تعلّم عبر الإنترنت، مما يعني أنه يتحسّن بشكل تكراري باستخدام البيانات التي يولّدها النموذج المدرَّب نفسه أثناء التدريب. الفكرة الكامنة وراء هدف RLOO هي تعظيم ميزة المكملات المولَّدة، مع ضمان بقاء النموذج قريبًا من سياسة المرجع. لفهم كيفية عمل RLOO، يمكن تقسيمه إلى أربع خطوات رئيسية: توليد المكملات، حساب الميزة، تقدير تباعد KL، وحساب الخسارة.

توليد الاكتمالات
في كل خطوة تدريب، نختار دفعة من الأوامر ونولّد مجموعة من الإكمالات لكل أمر (يُرمز إليها بـ ).
حساب المكافأة
في RLOO، تتكون المكافأة من مكونين: المكافأة التي يوفرها نموذج المكافأة (أو دالة المكافأة)، وعقوبة KL التي تثبط السياسة عن الانحراف كثيرًا عن سياسة مرجعية ثابتة
- لكلٍّ من التسلسلات المولَّدة المشروطة بالاستعلام , نحسب مكافأة قياسية باستخدام نموذج المكافأة .
- في الوقت نفسه، نقدر تباعد كولباك-ليبلر بين سياسة القرار الحالية والسياسة المرجعية الثابتة عبر التسلسل. تقدير تباعد كولباك-ليبلر للتسلسل هو:
المكافأة النهائية المُسندة إلى التسلسل ثم تكون:
حيث يتحكم في قوة عقوبة KL.
في الإعداد البحت عبر الإنترنت (
num_iterations = 1، الافتراضي)، يتم توليد البيانات بواسطة السياسة الحالية. في هذه الحالة، يُحسب عقوبة KL مباشرةً باستخدام السياسة الحالية.في الإعداد الأكثر عمومية (مثل وجود خطوات تدرّج متعددة لكل دفعة)، يتم توليد البيانات بدلاً من ذلك بواسطة لقطة سابقة . للحفاظ على اتساق العقوبة مع توزيع العينة، يُعرَّف KL بالنسبة إلى هذه السياسة:
وبالمثل، بالنسبة إلى تسلسل مُسحوب , تقدير مونت كارلو هو:
حساب الميزة
بمجرد حساب المكافآت لكل إكمال، نحسب خط أساس على شكل متوسط مكافآت جميع العينات الأخرى في الدفعة نفسها، مع استبعاد العينة الحالية. يُستخدم هذا الخط الأساس لتقليل تباين تقدير تدرّج السياسة. ثم يُستخرج الميزة (Advantage) لكل إكمال على شكل الفرق بين مكافأته الخاصة وخط الأساس هذا الذي يستبعد العينة الواحدة.
رسميًا، فيما يتعلق بدفعة من G إكمالات، يكون الأساس (baseline) للإكمال كالتالي:
ثم يُحسب الميزة لكل إكمال على أنه الفرق بين مكافأته والخط الأساسي:
حساب الخسارة
يُعرَّف خسارة REINFORCE ببساطة على النحو التالي:
في الممارسة العملية، يؤدي تنفيذ خطوات تدرّج متعددة على نفس الدفعة إلى أن تصبح الإجراءات غير متوافقة فعليًا مع السياسة الحالية بالنسبة للمعاملات. لتصحيح ذلك، نعرّف نسبة أخذ العينات المهمة. ومنعًا لتحديثات كبيرة بشكل مفرط عندما تتغير السياسة بين أخذ العينات وخطوات التدرّج، نقوم بقطع هذه النسبة:
في إعداد أحادي الخطوة بالكامل عبر الإنترنت (الافتراضي)، ويختزل هذا إلى REINFORCE القياسي.
على عكس GRPO، لا يقوم RLOO بنشر التدرجات عكسيًا عبر حد KL. هنا يُستخدم KL بشكل خالص لتشكيل المكافأة: حيث يُحسب تحت
no_gradويُدمج في المكافأة القياسية , التي تصبح الميزة المنفصلة .بعبارة أخرى، المسار الوحيد الذي تتدفق من خلاله التدرجات إلى السياسة هو حد نسبة الأهمية , ولا يتم عكس التدرجات من حد KL إلى السياسة.
على النقيض من ذلك، GRPO يضيف حد KL صريحًا وقابلًا للاشتقاق إلى دالة الهدف، ويُحسب على الفور باستخدام السياسة الحالية , بحيث يتدفق تدرجه عبر حد النسبة وعقوبة KL.
المقاييس المسجّلة
أثناء التدريب والتقييم، نسجّل المقاييس التالية:
num_tokens: إجمالي عدد الرموز التي تمت معالجتها حتى الآن، بما في ذلك المحفزات والإكمالات.step_time: متوسط الوقت (بالثواني) المستغرق لكل خطوة تدريب (بما في ذلك التوليد).completions/mean_length: متوسط طول المكملات المولّدة.completions/min_length: الحد الأدنى لطول المكملات المولّدة.completions/max_length: الحد الأقصى لطول المكملات المولّدة.completions/mean_terminated_length: متوسط طول المكملات المولّدة التي تنتهي بـ EOS.completions/min_terminated_length: الحد الأدنى لطول المكملات المولّدة التي تنتهي بـ EOS.completions/max_terminated_length: الحد الأقصى لطول المكملات المولّدة التي تنتهي بـ EOS.completions/clipped_ratio: نسبة الإكمالات المقطوعة (المُقصاة).rewards/{reward_func_name}/mean: متوسط المكافأة من دالة مكافأة محددة.rewards/{reward_func_name}/std: الانحراف المعياري للمكافأة من دالة مكافأة محددة.reward: متوسط المكافأة الإجمالي بعد جمع المكافآت عبر الدوال (موزونة بـreward_weights).reward_std: الانحراف المعياري للمكافآت المجمعة عبر الدوال (موزونة بـreward_weights)، محسوبًا على الدفعة الكاملة.frac_reward_zero_std: نسبة العينات في دفعة التوليد التي يكون انحراف مكافأتها المعياري صفراً، مما يعني أن التنوع ضئيل لذلك الاستدعاء (جميع الإجابات صحيحة أو خاطئة).entropy: متوسط إنتروبيا توقعات الرموز عبر المكملات المولّدة. (إذا كانmask_truncated_completions=True، يتم استبعاد رموز التسلسلات المقنّعة.)aux_loss: خسارة التوازن على الأحمال المساعدة لنموذج مزيج الخبراء، قبل أن تُضرب فيrouter_aux_loss_coefوتُضاف إلى الخسارة. تُسجَّل فقط عندما يكون النموذج من نوع MoE وrouter_aux_loss_coefغير صفري.kl: متوسط تباعد كوهين-ليبلر بين النموذج ونموذج المرجع، محسوبًا على المكملات المولّدة. يُسجَّل فقط إذا كانbetaغير صفري.clip_ratio/region_mean: نسبة احتمالات التسلسلات التي يُقصّ فيها هدف RLOO ليبقى ضمن منطقة الثقة: . تدل قيمة أعلى على أن عددًا أكبر من العينات يُقصّ، مما يقيّد مدى التغيير الذي يمكن أن تطرده السياسة .clip_ratio/low_mean: متوسط نسبة احتمالات التسلسلات التي تم اقتطاعها عند الحد الأدنى لمنطقة الثقة: .clip_ratio/low_min: أصغر مؤشر قصّ لكل إكمال على الحد الأدنى لمنطقة الثقة: .clip_ratio/high_mean: متوسط نسبة احتمالات التسلسلات التي تم اقتطاعها عند الحد الأعلى لمنطقة الثقة: .clip_ratio/high_max: أكبر مؤشر قصّ لكل إكمال على الحد الأعلى لمنطقة الثقة: .
التخصيص
تسريع التدريب باستخدام التوليد المدعوم من vLLM
غالبًا ما يكون التوليد هو العائق الرئيسي عند التدريب باستخدام الأساليب المباشرة. لتسريع التوليد، يمكنك استخدام vLLM، وهو محرك استدلال عالي الإنتاجية ومنخفض الكمون للنماذج اللغوية الكبيرة. لتفعيله، قم أولاً بتثبيت الحزمة باستخدام
pip install trl[vllm]
ندعم طريقتين لاستخدام vLLM أثناء التدريب: وضع الخادم ووضع التجميع.
الخيار 1: وضع التجميع
في هذا الوضع، يعمل vLLM داخل عملية المُدرِّب ويتشارك ذاكرة GPU مع نموذج التدريب. يتجنّب هذا إطلاق خادم منفصل ويمكن أن يحسّن استخدام GPU، لكنه قد يؤدي إلى تنافس على الذاكرة في وحدات GPU الخاصة بالتدريب. هذا هو الوضع الافتراضي.
from trl import RLOOConfig
training_args = RLOOConfig(
...,
use_vllm=True, # vllm_mode="colocate" by default
)الخيار 2: وضع الخادم
في هذا الوضع، يعمل vLLM في عملية منفصلة (ويعتمد على وحدات معالجة رسومية منفصلة) ويتواصل مع المُدرِّب عبر HTTP. وهذا مثالي إذا كانت لديك وحدات معالجة رسومية مخصصة للاستدلال.
بدء خادم vLLM:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1تفعيل وضع الخادم في سكربت التدريب الخاص بك:
from trl import RLOOConfig training_args = RLOOConfig( ..., use_vllm=True, vllm_mode="server", )
تأكد من أن الخادم يستخدم وحدات معالجة رسومية مختلفة عن تلك التي يستخدمها المدرب، وإلا فقد تواجه أخطاء NCCL. يمكنك تحديد وحدات المعالجة الرسومية المراد استخدامها باستخدام متغير البيئة
CUDA_VISIBLE_DEVICES.
يعتمد على حجم النموذج ومتطلبات ذاكرة وحدة معالجة الرسوميات (GPU) الإجمالية للتدريب، قد تحتاج إلى ضبط معامل
vllm_gpu_memory_utilizationفي RLOOConfig لتجنب سوء الاستخدام أو أخطاء نفاد الذاكرة.نوفر مساحة HF لمساعدتك في تقدير استهلاك ذاكرة وحدة معالجة الرسوميات الموصى به بناءً على إعدادات النموذج وإعدادات التجربة الخاصة بك. ما عليك سوى استخدامه على النحو التالي للحصول على توصية
vllm_gpu_memory_utilization:إذا لم يعمل القيمة الموصى بها في بيئتك، نقترح إضافة هامش صغير (مثل +0.05 أو +0.1) إلى القيمة الموصى بها لضمان الاستقرار.
إذا كنت لا تزال تواجه أخطاء نفاد الذاكرة، فاضبط
vllm_enable_sleep_modeعلى True وسيتم تفريغ معاملات vllm والذاكرة المؤقتة أثناء خطوة التحسين. لمزيد من المعلومات، راجع تقليل استخدام الذاكرة مع وضع السكون في vLLM.
افتراضيًا، يستخدم RLOO
MASTER_ADDR=localhostوMASTER_PORT=12345لـ vLLM، لكن يمكنك تجاوز هذه القيم عن طريق تعيين متغيرات البيئة وفقًا لذلك.
لمزيد من المعلومات، راجع تسريع التدريب باستخدام vLLM.
RLOO على نطاق واسع: تدريب نموذج بحجم 70B+ على عدة عقد
عند تدريب نماذج كبيرة مثل Qwen2.5-72B، تحتاج إلى عدة تحسينات رئيسية لجعل التدريب فعالاً وقابلاً للتوسع عبر وحدات معالجة الرسوميات (GPUs) وعُقد متعددة. وتشمل هذه التحسينات:
- DeepSpeed ZeRO Stage 3: يستفيد ZeRO من توازي البيانات لتوزيع حالات النموذج (الأوزان، التدرجات، حالات المُحسِّن) على وحدات معالجة رسومية ووحدات معالجة مركزية متعددة، مما يقلل من متطلبات الذاكرة والحساب على كل جهاز. وبما أن النماذج الكبيرة لا يمكن استيعابها على وحدة معالجة رسومية واحدة، فإن استخدام ZeRO Stage 3 مطلوب لتدريب مثل هذه النماذج. لمزيد من التفاصيل، راجع DeepSpeed Integration.
- torchrun: يبدأ مُشغِّل PyTorch عملية واحدة لكل وحدة معالجة رسومية على كل عقدة، ويربطها عبر نقطة تجمع مشتركة. لمزيد من التفاصيل، راجع توزيع التدريب.
- vLLM: راجع القسم السابق لمعرفة كيفية استخدام vLLM لتسريع عملية التوليد.
فيما يلي مثال على سكربت SLURM لتدريب نموذج بحجم 70B باستخدام RLOO على عدة عقد. يقوم هذا السكربت بتدريب النموذج على 4 عقد ويستخدم العُقدة الخامسة للتوليد المدعوم بـ vLLM.
#!/bin/bash
#SBATCH --nodes=5
#SBATCH --gres=gpu:8
# Get the list of allocated nodes
NODELIST=($(scontrol show hostnames $SLURM_JOB_NODELIST))
# Assign the first 4 nodes for training and the 5th node for vLLM
TRAIN_NODES="${NODELIST[@]:0:4}" # Nodes 0, 1, 2, 3 for training
VLLM_NODE="${NODELIST[4]}" # Node 4 for vLLM
# Run training on the first 4 nodes (Group 1)
srun --nodes=4 --ntasks=4 --nodelist="${NODELIST[@]:0:4}" torchrun \
--nnodes 4 \
--nproc_per_node 8 \
--node_rank $SLURM_PROCID \
--rdzv_backend c10d \
--rdzv_endpoint ${NODELIST[0]}:29500 \
train_rloo.py \
--server_ip $VLLM_NODE &
# Run vLLM server on the 5th node (Group 2)
srun --nodes=1 --ntasks=1 --nodelist="${NODELIST[4]}" env VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-72B --tensor-parallel-size 8 \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1 &
waitimport argparse
from datasets import load_dataset
from trl import RLOOTrainer, RLOOConfig
def main():
parser = argparse.ArgumentParser()
parser.add_argument("--vllm_server_host", type=str, default="", help="The server IP")
args = parser.parse_args()
# Example dataset from TLDR
dataset = load_dataset("trl-lib/tldr", split="train")
# Dummy reward function: count the number of unique characters in the completions
def reward_num_unique_chars(completions, **kwargs):
return [len(set(c)) for c in completions]
training_args = RLOOConfig(
output_dir="Qwen2.5-72B-RLOO",
per_device_train_batch_size=4,
bf16=True,
deepspeed="examples/deepspeed_configs/zero3.json",
use_vllm=True,
vllm_mode="server",
vllm_server_host=args.vllm_server_host.replace("ip-", "").replace("-", "."), # from ip-X-X-X-X to X.X.X.X
)
trainer = RLOOTrainer(model="Qwen/Qwen2.5-72B", args=training_args, reward_funcs=reward_num_unique_chars, train_dataset=dataset)
trainer.train()
if __name__=="__main__":
main()استخدام دالة مكافأة مخصصة
يدعم RLOOTrainer استخدام دوال مكافأة مخصصة بدلاً من نماذج المكافأة الكثيفة. لضمان التوافق، يجب أن تستوفي دالة المكافأة الخاصة بك المتطلبات التالية:
يمكن أن تكون دوال المكافآت إما دوال Python متزامنة قابلة للاستدعاء، أو دوال async def غير متزامنة. عند تقديم عدة دوال مكافأة غير متزامنة، يتم انتظارها بشكل متزامن (تُنفَّذ بالتوازي عبر asyncio.gather) بحيث تتداخل أزمنتها المستجيب.
حجج الإدخال:
يجب أن تقبل الدالة ما يلي كحجج مُسمّاة:
prompts(تحتوي على الأوامر)،completions(تحتوي على الاكتمالات المولّدة)،completion_ids(تحتوي على المكملات المُرمَّزة)،trainer_state(TrainerState): الحالة الحالية للمدرّب. يمكن استخدام هذا لتنفيذ دوال مكافأة ديناميكية، مثل التعلم المنهجي (curriculum learning)، حيث يتم تعديل المكافأة بناءً على تقدم التدريب.log_extra: دالة قابلة للاستدعاءlog_extra(column: str, values: list)لإضافة أعمدة إضافية إلى جدول الاكتمالات. انظر إلى المثال 6.log_metric: دالة قابلة للاستدعاءlog_metric(name: str, value: float)لتسجيل مقاييس قياسية على شكل رسوم بيانية إلى جانبkl،entropy، وما إلى ذلك. راجع المثال 6.- جميع أسماء الأعمدة (باستثناء
prompt) التي قد يحتوي عليها مجموعة البيانات. على سبيل المثال، إذا كانت مجموعة البيانات تحتوي على عمود باسمground_truth، فسيتم استدعاء الدالة معground_truthكحجة اسمية.
أسهل طريقة للامتثال لهذا المتطلب هي استخدام
**kwargsفي توقيع الدالة.يعتمد شكل المدخلات على صيغة مجموعة البيانات:
- في الصيغة القياسية، ستكون
promptsوcompletionsقوائم من النصوص. - في الصيغة الحوارية، ستكون
promptsوcompletionsقوائم من قواميس الرسائل.
- في الصيغة القياسية، ستكون
القيمة المُعادَة: يجب أن تُعيد الدالة قائمة من الأرقام العشرية. يمثل كل رقم عشري المكافأة المقابلة لإكمال واحد.
المثال 1: مكافأة الإكمالات الأطول
فيما يلي مثال على دالة مكافأة لتنسيق قياسي يكافئ الإكمالات الأطول:
def reward_func(completion_ids, **kwargs):
"""Reward function that assigns higher scores to longer completions (in terms of token count)."""
return [float(len(ids)) for ids in completion_ids]يمكنك اختباره على النحو التالي:
>>> prompts = ["The sky is", "The sun is"] # not used in the reward function, but the trainer will pass it
>>> completions = [" blue.", " in the sky."] # not used in the reward function, but the trainer will pass it
>>> completion_ids = [[6303, 13], [304, 279, 12884, 13]]
>>> reward_func(prompts=prompts, completions=completions, completion_ids=completion_ids)
[2.0, 4.0]المثال 1.1: مكافأة الإكمالات الأطول (بناءً على عدد الأحرف)
نفس المثال السابق، لكن هذه المرة تعتمد دالة المكافأة على عدد الأحرف بدلاً من الرموز.
def reward_func(completions, **kwargs):
"""Reward function that assigns higher scores to longer completions (in terms of character count)."""
return [float(len(completion)) for completion in completions]يمكنك اختباره على النحو التالي:
>>> prompts = ["The sky is", "The sun is"]
>>> completions = [" blue.", " in the sky."]
>>> completion_ids = [[6303, 13], [304, 279, 12884, 13]] # not used in the reward function, but the trainer will pass it
>>> reward_func(prompts=prompts, completions=completions, completion_ids=completion_ids)
[6.0, 12.0]المثال 2: مكافأة الإكمالات بصيغة محددة
فيما يلي مثال على دالة مكافأة تتحقق مما إذا كانت الإكمال (completion) يتبع تنسيقًا محددًا. استُوحِي هذا المثال من دالة format reward المستخدمة في ورقة DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. تم تصميمها لتنسيق محادثة، حيث تتكون المحفزات (prompts) والإكمالات (completions) من رسائل منظمة.
import re
def format_reward_func(completions, **kwargs):
"""Reward function that checks if the completion has a specific format."""
pattern = r"^<think>.*?</think><answer>.*?</answer>$"
completion_contents = [completion[0]["content"] for completion in completions]
matches = [re.match(pattern, content) for content in completion_contents]
return [1.0 if match else 0.0 for match in matches]يمكنك اختبار هذه الدالة على النحو التالي:
>>> prompts = [
... [{"role": "user", "content": "What is the result of (1 + 2) * 4?"}],
... [{"role": "user", "content": "What is the result of (3 + 1) * 2?"}],
... ]
>>> completions = [
... [{"role": "assistant", "content": "<think>The sum of 1 and 2 is 3, which we multiply by 4 to get 12.</think><answer>(1 + 2) * 4 = 12</answer>"}],
... [{"role": "assistant", "content": "The sum of 3 and 1 is 4, which we multiply by 2 to get 8. So (3 + 1) * 2 = 8."}],
... ]
>>> format_reward_func(prompts=prompts, completions=completions)
[1.0, 0.0]المثال 3: مكافأة الاكتمالات بناءً على مرجع
فيما يلي مثال على دالة مكافأة تتحقق من صحة الإكمال. يستلهم هذا المثال دالة مكافأة الدقة المستخدمة في ورقة DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning.
تم تصميم هذا المثال لـ التنسيق القياسي، حيث يحتوي مجموعة البيانات على عمود باسم ground_truth.
import re
def reward_func(completions, ground_truth, **kwargs):
# Regular expression to capture content inside \boxed{}
matches = [re.search(r"\\boxed\{(.*?)\}", completion) for completion in completions]
contents = [match.group(1) if match else "" for match in matches]
# Reward 1 if the content is the same as the ground truth, 0 otherwise
return [1.0 if c == gt else 0.0 for c, gt in zip(contents, ground_truth)]يمكنك اختبار هذه الدالة على النحو التالي:
>>> prompts = ["Problem: Solve the equation $2x + 3 = 7$. Solution:", "Problem: Solve the equation $3x - 5 = 10$."]
>>> completions = [r" The solution is \boxed{2}.", r" The solution is \boxed{6}."]
>>> ground_truth = ["2", "5"]
>>> reward_func(prompts=prompts, completions=completions, ground_truth=ground_truth)
[1.0, 0.0]المثال 4: دوال المكافآت متعددة المهام
فيما يلي مثال على استخدام دوال مكافأة متعددة في RLOOTrainer. في هذا المثال، نعرّف دالتي مكافأة مخصصتين للمهام: math_reward_func وcoding_reward_func. تكافئ math_reward_func مسائل الرياضيات بناءً على صحتها، بينما تكافئ coding_reward_func مسائل البرمجة بناءً على ما إذا كانت الحل يعمل.
from datasets import Dataset
from trl import RLOOTrainer
# Define a dataset that contains both math and coding problems
dataset = Dataset.from_list(
[
{"prompt": "What is 2+2?", "task": "math"},
{"prompt": "Write a function that returns the sum of two numbers.", "task": "code"},
{"prompt": "What is 3*4?", "task": "math"},
{"prompt": "Write a function that returns the product of two numbers.", "task": "code"},
]
)
# Math-specific reward function
def math_reward_func(prompts, completions, task, **kwargs):
rewards = []
for prompt, completion, t in zip(prompts, completions, task):
if t == "math":
# Calculate math-specific reward
correct = check_math_solution(prompt, completion)
reward = 1.0 if correct else -1.0
rewards.append(reward)
else:
# Return None for non-math tasks
rewards.append(None)
return rewards
# Coding-specific reward function
def coding_reward_func(prompts, completions, task, **kwargs):
rewards = []
for prompt, completion, t in zip(prompts, completions, task):
if t == "code":
# Calculate coding-specific reward
works = test_code_solution(prompt, completion)
reward = 1.0 if works else -1.0
rewards.append(reward)
else:
# Return None for non-coding tasks
rewards.append(None)
return rewards
# Use both task-specific reward functions
trainer = RLOOTrainer(
model="Qwen/Qwen2-0.5B-Instruct",
reward_funcs=[math_reward_func, coding_reward_func],
train_dataset=dataset,
)
trainer.train()في هذا المثال، صُمّمت math_reward_func وcoding_reward_func للعمل مع مجموعة بيانات مختلطة تحتوي على مسائل رياضية ومسائل برمجية. يُستخدم عمود task في مجموعة البيانات لتحديد دالة المكافأة التي يجب تطبيقها على كل مسألة. إذا لم تكن هناك دالة مكافأة ذات صلة لعينة في مجموعة البيانات، فإن دالة المكافأة ستعيد None، وسيواصل RLOOTrainer العمل بالدوال والمهام الصالحة. وهذا يتيح لـRLOOTrainer التعامل مع دوال مكافأة متعددة ذات نطاقات تطبيق مختلفة.
لاحظ أن RLOOTrainer سيتجاهل مكافآت None التي تُعاد من دوال المكافآت، وسيأخذ في الاعتبار فقط المكافآت التي تُعاد من الدوال ذات الصلة. وهذا يضمن تدريب النموذج على المهام ذات الصلة وتجاهل المهام التي لا توجد لها دالة مكافآت ذات صلة.
المثال 5: دوال المكافآت غير المتزامنة
يمكن أيضًا تعريف دوال المكافأة المخصصة كدوال async def غير متزامنة. وهذا مفيد إذا كانت مكافأتك تعتمد على عمليات إدخال/إخراج بطيئة (على سبيل المثال، استدعاء خدمة عن بُعد). عند تمرير عدة دوال مكافأة غير متزامنة، ينفذ RLOOTrainer هذه الدوال بشكل متوازٍ بحيث تتداخل أزمنه استجابتها.
فيما يلي مثال مبسّط لدالة مكافأة غير متزامنة تحاكي عملية تعتمد على الإدخال/الإخراج:
import asyncio
async def async_reward_func(prompts, completions, **kwargs):
# Simulate an I/O-bound call (e.g., HTTP request, database lookup)
await asyncio.sleep(0.01)
# Simple toy reward: 1.0 if the completion is non-empty, else 0.0
return [1.0 if completion else 0.0 for completion in completions]المثال 6: تسجيل أعمدة ومؤشرات إضافية
فيما يلي مثال على دالة مكافأة تسجّل أعمدة إضافية في جدول الإكمالات والمقاييس القياسية على شكل رسوم بيانية.
import re
def reward_func(completions, ground_truth, log_extra=None, log_metric=None, **kwargs):
extracted = [re.search(r"\\boxed\{(.*?)\}", c) for c in completions]
extracted = [m.group(1) if m else None for m in extracted]
rewards = [1.0 if e == gt else 0.0 for e, gt in zip(extracted, ground_truth)]
if log_extra:
log_extra("golden_answer", list(ground_truth))
log_extra("extracted_answer", [e or "[none]" for e in extracted])
if log_metric:
log_metric("accuracy", sum(rewards) / len(rewards))
return rewardsتمرير دالة المكافأة إلى المدرب
لاستخدام دالة المكافأة المخصصة الخاصة بك، قم بتمريرها إلى RLOOTrainer على النحو التالي:
from trl import RLOOTrainer
trainer = RLOOTrainer(
reward_funcs=reward_func,
...,
)يمكنك تمرير عدة دوال مكافأة كقائمة؛ وقد تتضمن هذه القائمة دوالًا متزامنة وغير متزامنة على حد سواء:
from trl import RLOOTrainer
trainer = RLOOTrainer(
reward_funcs=[reward_func, async_reward_func1, async_reward_func2],
...,
)وستُحسب المكافأة على أنها مجموع المكافآت من كل دالة، أو المجموع الموزون إذا تم تقديم reward_weights في الإعدادات.
لاحظ أن RLOOTrainer يدعم دوال مكافأة متعددة من أنواع مختلفة. راجع توثيق المعلمات لمزيد من التفاصيل.
تدريب نماذج اللغة البصرية
يدعم RLOO تدريب نماذج الرؤية واللغة (VLMs) على مجموعات بيانات متعددة الوسائط تحتوي على كل من النص والصور.
النماذج المدعومة
تم الاختبار مع:
- Gemma3 — على سبيل المثال،
google/gemma-3-4b-it - LLaVA-NeXT — على سبيل المثال،
llava-hf/llava-v1.6-mistral-7b-hf - Qwen2-VL — على سبيل المثال،
Qwen/Qwen2-VL-2B-Instruct - Qwen2.5-VL — على سبيل المثال،
Qwen/Qwen2.5-VL-3B-Instruct - SmolVLM2 — على سبيل المثال،
HuggingFaceTB/SmolVLM2-2.2B-Instruct
لا يُكفَل التوافق مع جميع نماذج VLM. إذا كنت تعتقد أنه ينبغي دعم نموذج معين، فلا تتردد في فتح مشكلة على GitHub — أو الأفضل من ذلك، تقديم طلب سحب يتضمن التغييرات المطلوبة.
البدء السريع
استخدم rloo_vlm.py لضبط نموذج VLM. مثال على الأمر للتدريب على lmms-lab/multimodal-open-r1-8k-verified:
torchrun --nproc_per_node 8 examples/rloo_visual_math/rloo_visual_math.py \
--deepspeed examples/deepspeed_configs/zero3.json \
--model_name_or_path Qwen/Qwen2.5-VL-3B-Instruct \
--output_dir rloo-Qwen2.5-VL-3B-Instruct \
--learning_rate 1e-5 \
--dtype bfloat16 \
--max_completion_length 1024 \
--use_vllm \
--vllm_mode colocate \
--use_peft \
--lora_target_modules "q_proj", "v_proj" \
--log_completionsنصائح حول التهيئة
- استخدام LoRA على طبقات الإسقاط الخاصة بلغة الرؤية
- تفعيل التكميم بدقة 4 بت لتقليل استهلاك الذاكرة
- تستهلك نماذج اللغة المرئية (VLMs) ذاكرة كبيرة — ابدأ بحجم دفعات أصغر
- تتوافق معظم النماذج مع vLLM (أوضاع
serverوcolocate)
تنسيق مجموعة البيانات
يجب أن يتضمن كل عينة تدريب:
prompt: نص منسّق عبر قالب المحادثة الخاص بالمعالجimage/images: صورة PIL أو قائمة بصور PIL
يتولى المدرب تلقائياً تحويل الصور إلى متجهات (تensors) عبر معالج الصور الخاص بالنموذج.
RLOOTrainer
فئة trl.RLOOTrainer
< source >( model: str | PreTrainedModel | PeftModelreward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]]args: trl.trainer.rloo_config.RLOOConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = None )
المعاملات
- model (
strأو PreTrainedModel أوPeftModel) — النموذج المراد تدريبه. يمكن أن يكون أحد ما يلي:- سلسلة نصية، تكون معرف النموذج لنموذج مُدرَّب مسبقًا مستضاف داخل مستودع نماذج على huggingface.co، أو مسارًا إلى مجلد يحتوي على أوزان النموذج المحفوظة باستخدام save_pretrained، مثل
'./my_model_directory/'. يتم تحميل النموذج باستخدام<ModelArchitecture>.from_pretrained(حيث يُشتق<ModelArchitecture>من إعدادات النموذج) مع الحُجج المُسمّاة الموجودة فيargs.model_init_kwargs. إذا لم يُحددdtypeفيargs.model_init_kwargs، فإن القيمة الافتراضية هيfloat32. وهذا يختلف عن from_pretrained، حيث (منذ Transformers v5) يُستنتج نوع البيانات من إعدادات النموذج. - كائن PreTrainedModel. يتم دعم نماذج اللغة السببية فقط.
- كائن
PeftModel. يتم دعم نماذج اللغة السببية فقط.
- سلسلة نصية، تكون معرف النموذج لنموذج مُدرَّب مسبقًا مستضاف داخل مستودع نماذج على huggingface.co، أو مسارًا إلى مجلد يحتوي على أوزان النموذج المحفوظة باستخدام save_pretrained، مثل
- reward_funcs (
RewardFunc | list[RewardFunc]) — دوال المكافآت المستخدمة لحساب المكافآت. لحساب المكافآت، نستدعي جميع دوال المكافآت باستخدام المحفّزات (prompts) والإكمالات (completions) ثم نجمع المكافآت. يمكن أن تكون:-
دالة مكافأة واحدة، مثل:
-
A string: The model ID of a pretrained model hosted inside a model repo on huggingface.co, or a path to a directory containing model weights saved using save_pretrained, e.g.,
'./my_model_directory/'. The model is loaded using from_pretrained withnum_labels=1and the keyword arguments inargs.model_init_kwargs. -
كائن PreTrainedModel: يتم دعم نماذج تصنيف التسلسل فقط.
-
دالة مكافأة مخصصة: تُزوَّد الدالة بالموجِّهات (prompts) والإكمالات المولَّدة، بالإضافة إلى أي أعمدة إضافية في مجموعة البيانات. يجب أن تُرجع قائمة بالمكافآت. يمكن أن تكون دوال المكافأة المخصصة متزامنة أو غير متزامنة، كما يمكنها إرجاع
Noneعندما لا تنطبق المكافأة على تلك العينات. وهذا مفيد في التدريب متعدد المهام حيث تنطبق دوال مكافأة مختلفة على أنواع مختلفة من العينات. عندما تُرجع دالة المكافأةNoneلعينة معينة، تُستبعد تلك الدالة من حساب المكافأة لتلك العينة. لمزيد من التفاصيل، راجع استخدام دالة مكافأة مخصصة.يتم تمرير حالة المدرب أيضًا إلى دالة المكافأة. حالة المدرب هي نسخة من TrainerState ويمكن الوصول إليها عن طريق الوصول إلى الحجة
trainer_stateفي توقيع دالة المكافأة.
-
-
قائمة من دوال المكافأة، حيث يمكن أن يكون كل عنصر بشكل مستقل أيًا من الأنواع المذكورة أعلاه. يُسمح بخلط أنواع مختلفة داخل القائمة (مثل معرّف نموذج نصي ودالة مكافأة مخصصة).
-
- args (RLOOConfig، اختياري) —
إعدادات هذا المدرب. إذا كانت
None، يتم استخدام إعداد افتراضي. - train_dataset (Dataset أو IterableDataset) —
مجموعة البيانات المستخدمة للتدريب. يجب أن تتضمن عمودًا
"prompt". أي أعمدة إضافية في مجموعة البيانات يتم تجاهلها. يمكن أن يكون تنسيق العينات إما:عندما يكون
train_datasetمن نوع IterableDataset (مثل مجموعة بيانات التدفق)، يجب تعيينmax_stepsفي حُجج التدريب، لأن طولها لا يمكن استنتاجه، ويُطلب تحديد إجمالي عدد خطوات التدريب لتحديد نطاق حلقة التدريب وإعداد مجدول معدل التعلم. - eval_dataset (Dataset أو IterableDataset أو DatasetDict أو IterableDatasetDict أو
dict[str, Dataset | IterableDataset]) — مجموعة البيانات المستخدمة للتقييم. يجب أن تستوفي نفس المتطلبات التي تستوفيهاtrain_dataset. - processing_class (PreTrainedTokenizerBase، ProcessorMixin، اختياري) —
فئة المعالجة المستخدمة لمعالجة البيانات. يجب ضبط جانب الحشو على “يسار”. إذا كانت
None، يتم تحميل فئة المعالجة من اسم النموذج باستخدام from_pretrained. يجب ضبط رمز الحشو،tokenizer.pad_token. إذا لم تضبط فئة المعالجة رمز الحشو، سيتم استخدامtokenizer.eos_tokenكقيمة افتراضية. - reward_processing_classes (PreTrainedTokenizerBase أو
list[PreTrainedTokenizerBase], اختياري) — فئات المعالجة المقابلة لدوال المكافأة المحددة فيreward_funcs. يمكن أن تكون إما:- فئة معالجة واحدة: تُستخدم عندما يحتوي
reward_funcsعلى دالة مكافأة واحدة فقط. - قائمة من فئات المعالجة: يجب أن تتطابق مع ترتيب وطول دوال المكافآت في
reward_funcs. إذا تم ضبطها علىNone، أو إذا كان عنصر في القائمة يقابل PreTrainedModel هوNone، يتم تحميل مُرمّز النموذج تلقائيًا باستخدام from_pretrained. بالنسبة للعناصر فيreward_funcsالتي هي دوال مكافآت مخصصة (ليست PreTrainedModel)، يتم تجاهل الإدخالات المقابلة فيreward_processing_classes.
- فئة معالجة واحدة: تُستخدم عندما يحتوي
- callbacks (قائمة من TrainerCallback, اختياري) —
قائمة من استدعاءات المراجعة (callbacks) لتخصيص حلقة التدريب. ستُضاف هذه الاستدعاءات إلى قائمة استدعاءات المراجعة الافتراضية المفصّلة هنا.
إذا كنت ترغب في إزالة أحد المراجعات الافتراضية المستخدمة، فاستخدم طريقة remove_callback.
- optimizers (
tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]، اختياري، القيمة الافتراضية(None, None)) — مجموعة (tuple) تحتوي على المُحسِّن (optimizer) والمُجدوِل (scheduler) المطلوبين للاستخدام. ستكون القيمة الافتراضية هي نسخة منAdamWعلى النموذج الخاص بك، مع مُجدوِل يُحدده get_linear_schedule_with_warmup ويُتحكم به عبرargs. - quantization_config (BitsAndBytesConfig، اختياري) —
إعدادات التكميم المستخدمة عند تحميل النموذج من معرّف النموذج. ادمجها مع
peft_configلتدريب QLoRA. يتم تجاهلها إذا كان النموذج مُنشأً بالفعل. - peft_config (
PeftConfig، اختياري) — إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانتNone، فلن يتم تغليف النموذج.
Trainer for the Reinforce Leave One Out (RLOO) method. This algorithm was initially proposed in the paper Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs.
مثال:
>>> from trl import RLOOTrainer
>>> from trl.rewards import accuracy_reward
>>> from datasets import load_dataset
>>> dataset = load_dataset("trl-lib/DeepMath-103K", split="train")
>>> trainer = RLOOTrainer(
... model="Qwen/Qwen2.5-0.5B-Instruct",
... reward_funcs=accuracy_reward,
... train_dataset=dataset,
... )
>>> trainer.train()تدريب
< source >( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput
المعاملات
- resume_from_checkpoint (
strأوbool، اختياري) — إذا كانstr، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة منTrainer. وإذا كانboolويساويTrue، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة منTrainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا. - trial (
optuna.Trialأوdict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة. - ignore_keys_for_eval (
list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.
يعيد
~trainer_utils.TrainOutput
كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.
نقطة الدخول الرئيسية للتدريب.
سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().
سيتم الحفظ من العملية الرئيسية فقط.
push_to_hub
< source >( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )
المعاملات
- commit_message (
str، اختياري، الافتراضي"End of training") — الرسالة التي تُرسل عند الدفع. - blocking (
bool، اختياري، الافتراضيTrue) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمالgit push. - token (
str، اختياري، القيمة الافتراضيةNone) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer. - revision (
str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”. - private (
bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هيargs.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا. - kwargs (
dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى~Trainer.create_model_card.
ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.
RLOOConfig
فئة trl.RLOOConfig
< source >( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool | None = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonedisable_dropout: bool = Falsenum_generations: int | None = 2num_generations_eval: int | None = Nonemax_completion_length: int | None = 512ds3_gather_for_generation: bool = Trueshuffle_dataset: bool | None = Truepad_to_multiple_of: int | str | None = 'auto'generation_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict | str | None = Nonechat_template_kwargs: dict | str | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_structured_outputs_regex: str | None = Nonevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonevllm_tensor_parallel_size: int = 1beta: float = 0.05num_iterations: int = 1epsilon: float = 0.2epsilon_high: float | None = Nonereward_weights: list[float] | None = Nonenormalize_advantages: bool = Falsereward_clip_range: tuple[float, float] | None = Nonemask_truncated_completions: bool = Falsesync_ref_model: bool = Falseref_model_mixup_alpha: float = 0.6ref_model_sync_steps: int = 512log_completions: bool = Falselog_multimodal: bool = Truenum_completions_to_print: int | None = Nonelog_unique_prompts: bool = Falseuse_transformers_continuous_batching: bool = Falsetransformers_continuous_batching_config: dict | str | None = Noneuse_transformers_paged: bool = False )
المعاملات التي تتحكم في النموذج ونموذج المرجع
- model_init_kwargs (
strأوdict[str, Any]، اختياري) — حجج الكلمات المفتاحية لـ from_pretrained، تُستخدم عندما يُقدَّم معاملmodelالخاص بـ RLOOTrainer كنص. كما يُستخدم قيمةrevisionعند تحميل فئات المعالجة. - trust_remote_code (
bool, optional, defaults toFalse) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained. Also applied to reward-model and reward-tokenizer loads. - router_aux_loss_coef (
float, اختياري) — معامل خسارة التوازن على الأحمال المساعدة لنماذج مزيج الخبراء (MoE)، تُضاف إلى خسارة التدريب بهذا الوزن. عند عدم تعيينه، يُستخدم القيمة المُعلنة في إعدادات النموذج. عيّن0.0لتعطيله. يفشل عند استخدامه مع نموذج غير MoE. - disable_dropout (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم تعطيل إسقاط العينة (dropout) في النموذج. هذا مفيد للتدريب مع نموذج مرجعي، حيث يمنع النموذج من توليد احتمالات سجلات (logprobs) مختلفة لنفس المدخل.
المعاملات التي تتحكم في معالجة البيانات المسبقة
- remove_unused_columns (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان يجب الإبقاء على العمود"prompt"فقط في مجموعة البيانات. إذا كنت تستخدم دالة مكافأة مخصصة تتطلب أي عمود غير"prompts"و"completions"، فيجب عليك إبقاء هذا الإعداد علىFalse. - num_generations (
int, اختياري, القيمة الافتراضية هي2) — عدد الأجيال لكل موجه يُسحب. يجب أن يكون حجم الدفعة الفعّال (num_processes * per_device_batch_size- gradient_accumulation_steps) يجب أن يكون قابلاً للقسمة على هذا القيمة.
- num_generations_eval (
int, اختياري) — عدد الأجيال التي سيتم أخذ عينات منها أثناء التقييم. يتيح ذلك استخدام عدد أقل من الأجيال أثناء التقييم لتوفير الحسابات. إذا كانNone، يتم استخدام قيمةnum_generations. - max_completion_length (
intأوNone، اختياري، القيمة الافتراضية512) — الحد الأقصى لطول الإكمال المولّد. - ds3_gather_for_generation (
bool، اختياري، القيمة الافتراضيةTrue) — تنطبق هذه الإعدادات على DeepSpeed ZeRO-3. إذا تم تفعيلها، يتم تجميع أوزان نموذج السياسة للتوليد، مما يحسّن سرعة التوليد. ومع ذلك، فإن تعطيل هذا الخيار يتيح تدريب نماذج تتجاوز سعة ذاكرة VRAM لبطاقة رسومات واحدة، على الرغم من أن ذلك يأتي على حساب بطء التوليد. لا يتوافق تعطيل هذا الخيار مع توليد vLLM. - shuffle_dataset (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم خلط مجموعة بيانات التدريب. - pad_to_multiple_of (
intأوstr، اختياري، القيمة الافتراضية"auto") — إذا تم ضبطه، فسيتم ملء معرّفات الأوامر (prompts ids) ومعرّفات الإكمالات (completions ids) إلى مضاعف لهذا القيمة."auto"يملأ إلى مضاعف لـ 128 على Neuron (AWS Trainium)، حيث يُترجم مرة واحدة لكل شكل إدخال، ولا يملأ في أي مكان آخر.
المعاملات التي تتحكم في التوليد
- generation_batch_size (
int, اختياري) — حجم الدفعة المستخدمة للتوليد. إذا كانتNone، فإن القيمة الافتراضية هي حجم دفعة التدريب الفعلية:per_device_train_batch_size * num_processes * steps_per_generation. بمعنى آخر، يتم معالجة دفعة توليد واحدة لكل خطوة تحسين. يتعارض معsteps_per_generation. - steps_per_generation (
int، اختياري) — عدد الخطوات لكل عملية توليد. إذا كانتNone، فإن القيمة الافتراضية هيgradient_accumulation_steps. يتعارض معgeneration_batch_size. - temperature (
float، اختياري، القيمة الافتراضية1.0) — درجة الحرارة للعينات. كلما زادت درجة الحرارة، زادت عشوائية المكملات. - top_p (
float، اختياري، القيمة الافتراضية1.0) — قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على1.0لاعتبار جميع الرموز. - top_k (
int، اختياري، القيمة الافتراضية0) — عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها لتصفية top-k. إذا كانت القيمة0، يتم تعطيل تصفية top-k وتُعتبر جميع الرموز. - min_p (
float, اختياري) — أدنى احتمال للرمز، والذي يُضرب في احتمال الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين0.0و1.0. القيم النموذجية تقع في نطاق0.01-0.2. - generation_kwargs (
dict[str, Any]، اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى GenerationConfig (في حال استخدام transformers) أوSamplingParams(في حال استخدام vLLM) عند أخذ عينات من المكملات. يمكن استخدام هذا لتخصيص سلوك التوليد بشكل أكبر، مثل تعيينsuppress_tokens،num_beams، وما إلى ذلك. إذا احتوى على مفاتيح تتعارض مع معلمات التوليد الأخرى (مثلmin_p،top_p، وما إلى ذلك)، فإنها ستُلغيها. - chat_template_kwargs (
dict[str, Any]، اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى دالةapply_chat_templateعند توليد الإكمالات. - repetition_penalty (
float، اختياري، القيمة الافتراضية1.0) — قيمة عشرية تعاقب الرموز الجديدة بناءً على ما إذا كانت تظهر في الاستعلام والنص المولَّد حتى الآن. القيم >1.0تشجع النموذج على استخدام رموز جديدة، بينما القيم <1.0تشجع النموذج على تكرار الرموز. - cache_implementation (
str، اختياري) — تنفيذ طريقة التخزين المؤقت لتسريع التوليد عندما يكونuse_vllmمضبوطًا علىFalse.
المعاملات التي تتحكم في تسريع التوليد المدعوم بواسطة vLLM
- use_vllm (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام vLLM لتوليد المكملات. إذا تم ضبطه علىTrue، فسيستخدم المدرب vLLM للتوليد بدلاً من model.generate() الافتراضي. يتطلب تثبيتvllm. - vllm_mode (
str, اختياري, الافتراضي هو"colocate") — الوضع المستخدم لتكامل vLLM عندماuse_vllmيُضبط علىTrue. يجب أن يكون أحد"server"أو"colocate"."server": سيقوم المدرب بإرسال طلبات التوليد إلى خادم vLLM منفصل. تأكد من أن خادم vLLM قيد التشغيل (ابدأ باستخدامvllm serve)."colocate": سيعمل vLLM في نفس العملية ويشارك وحدات معالجة الرسوميات المستخدمة في التدريب. هذا يتجنب الحاجة إلى خادم منفصل، لكنه قد يسبب تنافساً على الموارد مع التدريب.
- vllm_model_impl (
str، اختياري، القيمة الافتراضية"vllm") — تنفيذ النموذج المستخدم في vLLM. يجب أن يكون أحد"transformers"أو"vllm"."transformers": استخدم واجهةtransformersالخلفية لتنفيذ النموذج."vllm": استخدم مكتبةvllmلتنفيذ النموذج. - vllm_enable_sleep_mode (
bool، اختياري، القيمة الافتراضيةFalse) — تفعيل وضع السكون في vLLM لتفريغ الأوزان/الذاكرة المؤقتة أثناء خطوة المُحسِّن. يُبقي استخدام ذاكرة وحدة معالجة الرسوميات منخفضًا، لكن استيقاظ المحرّك يضيف زمن انتقال بين المضيف والوحدة. - vllm_structured_outputs_regex (
str، اختياري) — نمط Regex للمخرجات المهيكلة في vLLM. إذا كانNone(الافتراضي)، يتم تعطيل المخرجات المهيكلة.
المعاملات التي تتحكم في خادم vLLM (تُستخدم فقط عندما تكون `vllm_mode` هي `"server"`)
- vllm_server_base_url (
str, اختياري) — العنوان الأساسي لخادم vLLM (مثل"http://localhost:8000"). إذا تم تقديمه، يتم تجاهلvllm_server_hostوvllm_server_port. - vllm_server_host (
str، اختياري، القيمة الافتراضية"0.0.0.0") — عنوان مضيف خادم vLLM الذي سيتم الاتصال به. يتم تجاهله إذا تم تقديمvllm_server_base_url. - vllm_server_port (
int، اختياري، القيمة الافتراضية8000) — منفذ خادم vLLM الذي يجب الاتصال به. يتم تجاهله إذا تم تقديمvllm_server_base_url. - vllm_server_timeout (
float, اختياري, القيمة الافتراضية240.0) — المدة الإجمالية للوقت المحدد بالثواني للانتظار حتى يصبح خادم vLLM قيد التشغيل. إذا لم يكن الخادم قيد التشغيل بعد انتهاء المهلة، يتم رفعConnectionError. - vllm_group_port (
int، اختياري، القيمة الافتراضية51216) — رقم المنفذ لمجموعة تحديث الأوزان. يُستخدم للتواصل مع خادم vLLM. ما لم يكن المنفذ مشغولاً، فلا حاجة لتغييره.
المعاملات التي تتحكم في تنفيذ vLLM المتزامن (تُستخدم فقط عندما يكون `vllm_mode` هو `"colocate"`)
- vllm_gpu_memory_utilization (
float, اختياري، القيمة الافتراضية0.3) — التحكم في استهلاك ذاكرة GPU في vLLM. لا تنطبق هذه الإعدادات إلا عندما تكون قيمةvllm_modeهي"colocate". إذا كنت تستخدمvllm_mode="server"، فيجب تمرير هذا المعامل بشكل منفصل عند إطلاق خادم vLLM عبر علم--vllm_gpu_memory_utilization. - vllm_max_model_length (
int, اختياري) — نافذة السياق الخاصة بـ vLLM. اضبطه على الأقل على طول الإدخال الأقصى في مجموعة البيانات مضافًا إليهmax_completion_length؛ وإذا تم تجاهله، فسيتم استنتاجه من إعدادات النموذج. - vllm_tensor_parallel_size (
int, اختياري، القيمة الافتراضية1) — التحكم في حجم التوازي للتensors في vLLM. لا تنطبق هذه الإعدادات إلا عندما تكونvllm_modeمضبوطة على"colocate". إذا كنت تستخدمvllm_mode="server"، فيجب تمرير هذا المعامل بشكل منفصل عند إطلاق خادم vLLM عبر علم--vllm_tensor_parallel_size.
المعاملات التي تتحكم في التدريب
- beta (
float، اختياري، القيمة الافتراضية0.05) — معامل KL. إذا كانت القيمة0.0، فلن يتم تحميل النموذج المرجعي، مما يقلل من استهلاك الذاكرة ويحسّن سرعة التدريب. - num_iterations (
int، اختياري، القيمة الافتراضية1) — عدد التكرارات لكل دفعة (يُرمز له بـ μ في الخوارزمية). - epsilon (
float، اختياري، القيمة الافتراضية0.2) — قيمة إيبسلون للقص. - epsilon_high (
float, اختياري) — قيمة إبسيلون الحد الأعلى للتقليم. إذا لم يتم تحديدها، فإن القيمة الافتراضية هي نفس قيمة الحد الأدنى المحددة في الحجةepsilon. يوصي الورق DAPO بقيمة0.28. - reward_weights (
list[float], اختياري) — أوزان لكل دالة مكافأة. يجب أن تتطابق مع عدد دوال المكافأة. إذا كانتNone، فجميع المكافآت موزونة بالتساوي مع وزن1.0. - normalize_advantages (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم تطبيع المزايا. يتم التطبيع لكل دفعة توليد بحيث تكون القيمة المتوسطة0.0والانحراف المعياري1.0. - reward_clip_range (
tuple[float, float], اختياري) — نطاق القصّ للمكافآت على شكل (الحد الأدنى، الحد الأقصى). إذا كانNone، فلا يُطبَّق أيّ قصّ. - mask_truncated_completions (
bool، اختياري، القيمة الافتراضيةFalse) — عند التفعيل، تُستبعد الإكمالات المقطوعة من حساب الخسارة، مما يمنع معاقبتها بشكل غير صحيح وإدخال ضوضاء أثناء التدريب. وفقًا لورقة DAPO، يُعد هذا ممارسة جيدة لاستقرار التدريب. - sync_ref_model (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم مزامنة النموذج المرجعي مع النموذج النشط كلref_model_sync_stepsخطوات، باستخدام المعاملref_model_mixup_alpha. تنبع هذه المزامنة من ورقة TR-DPO. - ref_model_mixup_alpha (
float, اختياري، القيمة الافتراضية0.6) — معامل α من ورقة TR-DPO، والذي يتحكم في المزج بين السياسة الحالية والسياسة المرجعية السابقة أثناء التحديثات. يتم تحديث السياسة المرجعية وفقًا للمعادلة:π_ref = α * π_θ + (1 - α) * π_ref_prev. لاستخدام هذا المعامل، يجب إعدادsync_ref_model=True. - ref_model_sync_steps (
int، اختياري، القيمة الافتراضية512) — معامل τ من ورقة TR-DPO، والذي يحدد مدى تكرار مزامنة السياسة الحالية مع السياسة المرجعية. لاستخدام هذا المعامل، يجب إعدادsync_ref_model=True.
المعاملات التي تتحكم في التسجيل
- log_completions (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم تسجيل عينة من أزواج (الموجّه، الإكمال) كلlogging_stepsخطوات. إذا كانrichمثبّتًا، فسيتم طباعة العينة. إذا كان تسجيلwandbو/أوtrackioمفعّلًا، فسيتم تسجيلها فيwandbو/أوtrackio. - log_multimodal (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان سيتم تسجيل المحتوى متعدد الوسائط (الصور، مقاطع الفيديو، إلخ) مع الإكمالات. عطّل هذا الخيار لتقليل حجم السجلات عند استخدام بيانات متعددة الوسائط عالية الدقة. - num_completions_to_print (
int, اختياري) — عدد الإكمالات التي سيتم طباعتها باستخدامrich. إذا كانتNone، فسيتم تسجيل جميع الإكمالات. - log_unique_prompts (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم تسجيل الأوامر الفريدة. إذا كانتTrue، يتم تسجيل الأوامر الفريدة فقط. إذا كانتFalse، يتم تسجيل جميع الأوامر.
المعاملات التي تتحكم في تسريع التوليد المدعوم من transformers عبر الدفع المستمر
- use_transformers_continuous_batching (
bool، اختياري، القيمة الافتراضيةFalse) — ما إذا كان سيتم استخدام محرك الدفعات المستمر (continuous batching) الخاص بـ transformers لتوليد الإكمالات. يتطلبtransformers>=5.8.0. - transformers_continuous_batching_config (
dict، اختياري) — حجج الكلمات المفتاحية لـContinuousBatchingConfig.
معاملات غير مستخدمة
فئة التهيئة الخاصة بـ RLOOTrainer.
تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب RLOO. للحصول على قائمة كاملة بحجج التدريب، يرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments.
باستخدام HfArgumentParser يمكننا تحويل هذه الفئة إلى حُجج argparse يمكن تحديدها على سطر الأوامر.
تتميز هذه المعلمات بقيم افتراضية مختلفة عن TrainingArguments:
logging_steps: القيمة الافتراضية هي10بدلاً من500.gradient_checkpointing: القيمة الافتراضية هيTrueبدلاً منFalse.bf16: القيمة الافتراضية هيTrueإذا لم يتم تعيينfp16، بدلاً منFalse.learning_rate: القيمة الافتراضية هي1e-6بدلاً من5e-5.
المراجع
- ورقة RLOO
- العودة إلى الأساسيات: إعادة النظر في التحسين بنمط REINFORCE للتعلم من ملاحظات البشر في نماذج اللغة الكبيرة
- ورقة بحثية - REINFORCE++: نهج بسيط وفعّال لمواءمة نماذج اللغة الكبيرة
- منشور مدونة - إعادة التعزيز إلى RLHF
- منشور مدونة - فكّ شفرة RLHF وأنواعه: التقدم والرؤى الهندسية العملية
- يوتيوب - RLOO: تحسين فعّال من حيث التكلفة للتعلم من تغذية راجعة البشر في نماذج اللغة الكبيرة
دليل الانتقال من التنفيذ القديم (0.21 وما دون)
مع إصدار الإصدار 0.22.0، قمنا بإعادة تصميم RLOOTrainer ليكون أكثر توافقاً مع مدرّبي الإنترنت الآخرين في المكتبة، مثل GRPOTrainer. تقدّم هذه النسخة الجديدة عدة تغييرات في معاملات التهيئة والبنية العامة للمدرّب. فيما يلي ملخص لأبرز التغييرات الخاصة بـ RLOOConfig:
| TRL ≤ 0.21.x | TRL ≥ 0.22.0 |
|---|---|
rloo_k | أُعيدت تسميتها إلى num_generations |
cliprange | أُعيدت تسميتها إلى epsilon |
kl_coef | أُعيدت تسميتها إلى beta |
exp_name | أُعيدت تسميتها إلى run_name. استخدم run_name = f"{exp_name}__{seed}__{int(time.time())}" لتكرار السلوك القديم |
normalize_reward | أُعيدت تسميتها إلى normalize_advantages. ملاحظة: كانت هذه الدالة تطبّع المزايا دائمًا (على الرغم من الاسم القديم) |
num_ppo_epochs | أُعيدت تسميتها إلى num_iterations (الافتراضي: 1) |
token_level_kl | تمت إزالته – يتم الآن حساب KL على مستوى التسلسل فقط |
dataset_num_proc | أُزيل – لم يكن مستخدماً |
num_mini_batches | أُعيدت تسميتها إلى steps_per_generation |
total_episodes | استخدم max_steps=total_episodes / gradient_accumulation_steps بدلاً من ذلك |
local_rollout_forward_batch_size | تمت إزالته – يتم الآن تعيينه تلقائيًا إلى per_device_train_batch_size (أو per_device_eval_batch_size أثناء التقييم) |
num_sample_generations | تمت إزالته – استخدم logging_steps للتحكم في تكرار تسجيل عمليات التوليد |
response_length | أُعيدت تسميتها إلى max_completion_length (الافتراضي: 512) |
stop_token | تمت إزالته |
stop_token_id | تمت إزالته – استخدم processing_class.eos_token_id بدلاً منه |
missing_eos_penalty | أُزيل – استنسخ باستخدام دالة مكافأة مخصصة تتحقق مما إذا كان eos_token_id ضمن completion_ids |
فيما يلي ملخص لأهم التغييرات الخاصة بـ RLOOTrainer:
| TRL ≤ 0.21.x | TRL ≥ 0.22.0 |
|---|---|
config | أُعيدت تسميتها إلى args |
reward_model | أُعيدت تسميتها إلى reward_funcs، والتي تدعم الآن كلا من نماذج المكافآت ودوال المكافآت المخصصة |
policy | أُعيدت تسميتها إلى model |
ref_policy | تمت إزالته – يتم الآن إنشاء النموذج المرجعي تلقائيًا من model |
data_collator | تمت إزالته |