TRL documentation

مدرب RLOO

You are viewing v1.18.0 version. A newer version v1.18.1 is available.
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

مدرب RLOO

model badge

نظرة عامة

يدعم TRL مُدرّب RLOO لتدريب نماذج اللغة، كما هو موصوف في ورقة Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs من تأليف Arash Ahmadian وChris Cremer وMatthias Gallé وMarzieh Fadaee وJulia Kreutzer وAhmet Üstün وSara Hooker.

المستخلص من الورقة البحثية هو كالتالي:

يُعامل محاذاة الذكاء الاصطناعي على شكل التعلم المعزز من التغذية الراجعة البشرية (RLHF) بشكل متزايد كمكوّن حاسم للنماذج اللغوية الكبيرة عالية الأداء. وقد تم وضع تحسين السياسة القريب (PPO) من قِبل الأدبيات الحديثة كطريقة قياسية للجزء المتعلق بالتعلم المعزز في RLHF. ومع ذلك، فإنه ينطوي على تكلفة حسابية عالية وضبط حساس للمعاملات الفائقة. نفترض أن معظم المبادئ التحفيزية التي أدت إلى تطوير PPO أقل أهمية عملية في سياق RLHF، ونناشد بطرح طريقة أقل تكلفة من الناحية الحسابية تحافظ على الأداء بل وتزيده. نعيد النظر في صياغة المحاذاة من التفضيلات البشرية في سياق التعلم المعزز. مع الحفاظ على البساطة كمبدأ توجيهي، نُظهر أن العديد من مكونات PPO غير ضرورية في سياق RLHF، وأن متغيرات التحسين الأبسط بكثير على غرار REINFORCE تتفوق على كل من PPO والطرق "الخالية من التعلم المعزز" المقترحة حديثاً مثل DPO و RAFT. تقترح أعمالنا أن التكيف الدقيق مع خصائص محاذاة النماذج اللغوية الكبيرة يتيح الاستفادة من تحسين التعلم المعزز التفاعلي بتكلفة منخفضة.

تمت مساهمة طريقة ما بعد التدريب هذه من قِبل Costa Huang ثم أعيدت هيكلتها لاحقاً من قِبل Shirin Yamani.

البدء السريع

يُظهر هذا المثال كيفية تدريب نموذج باستخدام طريقة RLOO. نقوم بتدريب نموذج Qwen 0.5B Instruct باستخدام الأوامر من مجموعة بيانات DeepMath-103K. يمكنك عرض البيانات في مجموعة البيانات هنا:

فيما يلي السكربت لتدريب النموذج. يحتاج accuracy_reward إلى math-verify، والذي يمكنك تثبيته باستخدام pip install trl[math_verify].

# train_rloo.py
from datasets import load_dataset
from trl import RLOOTrainer
from trl.rewards import accuracy_reward

dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

trainer = RLOOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=accuracy_reward,
    train_dataset=dataset,
)
trainer.train()

نفّذ السكربت باستخدام الأمر التالي:

torchrun --nproc_per_node 8 train_rloo.py

النظر بعمق أكبر في طريقة RLOO

RLOO هو خوارزمية تعلّم عبر الإنترنت، مما يعني أنه يتحسّن بشكل تكراري باستخدام البيانات التي يولّدها النموذج المدرَّب نفسه أثناء التدريب. الفكرة الكامنة وراء هدف RLOO هي تعظيم ميزة المكملات المولَّدة، مع ضمان بقاء النموذج قريبًا من سياسة المرجع. لفهم كيفية عمل RLOO، يمكن تقسيمه إلى أربع خطوات رئيسية: توليد المكملات، حساب الميزة، تقدير تباعد KL، وحساب الخسارة.

RLOO

توليد الاكتمالات

في كل خطوة تدريب، نختار دفعة من الأوامر ونولّد مجموعة من G G الإكمالات لكل أمر (يُرمز إليها بـ oi o_i ).

حساب المكافأة

في RLOO، تتكون المكافأة من مكونين: المكافأة التي يوفرها نموذج المكافأة (أو دالة المكافأة)، وعقوبة KL التي تثبط السياسة عن الانحراف كثيرًا عن سياسة مرجعية ثابتة

  1. لكلٍّ من G G التسلسلات المولَّدة oi=(oi,1,…,oi,T) o_i = (o_{i,1}, \dots, o_{i,T}) المشروطة بالاستعلام q q , نحسب مكافأة قياسية باستخدام نموذج المكافأة R(oi,q) R(o_i, q) .
  2. في الوقت نفسه، نقدر تباعد كولباك-ليبلر بين سياسة القرار الحالية πθ \pi_\theta والسياسة المرجعية الثابتة πref \pi_{\text{ref}} عبر التسلسل. تقدير تباعد كولباك-ليبلر للتسلسل oi o_i هو: DKL ⁣[πθ∥πref]=∑t=1Tlog⁡πθ(oi,t∣q,oi,<t)πref(oi,t∣q,oi,<t). \mathbb{D}_{\mathrm{KL}}\!\left[\pi_\theta\|\pi_{\mathrm{ref}}\right] = \sum_{t=1}^T \log \frac{\pi_\theta(o_{i,t} \mid q, o_{i,<t})}{\pi_{\mathrm{ref}}(o_{i,t} \mid q, o_{i,<t})}.

المكافأة النهائية المُسندة إلى التسلسل oi o_i ثم تكون: ri=R(oi,q)−β DKL ⁣[πθ∥πref], r_i = R(o_i, q) - \beta \, \mathbb{D}_{\mathrm{KL}}\!\left[\pi_\theta \|\pi_{\mathrm{ref}}\right],

حيث β>0 \beta > 0 يتحكم في قوة عقوبة KL.

في الإعداد البحت عبر الإنترنت (num_iterations = 1، الافتراضي)، يتم توليد البيانات بواسطة السياسة الحالية. في هذه الحالة، يُحسب عقوبة KL مباشرةً باستخدام السياسة الحالية.

في الإعداد الأكثر عمومية (مثل وجود خطوات تدرّج متعددة لكل دفعة)، يتم توليد البيانات بدلاً من ذلك بواسطة لقطة سابقة πold \pi_{\text{old}} . للحفاظ على اتساق العقوبة مع توزيع العينة، يُعرَّف KL بالنسبة إلى هذه السياسة:

DKL ⁣[πold ∥ πref]. \mathbb{D}_{\mathrm{KL}}\!\left[\pi_{\text{old}} \,\|\, \pi_{\text{ref}}\right].

وبالمثل، بالنسبة إلى تسلسل مُسحوب o o , تقدير مونت كارلو هو:

DKL ⁣[πold∥πref]=∑t=1Tlog⁡πold(oi,t∣q,oi,<t)πref(oi,t∣q,oi,<t). \mathbb{D}_{\mathrm{KL}}\!\left[\pi_{\text{old}} \|\pi_{\mathrm{ref}}\right] = \sum_{t=1}^T \log \frac{\pi_{\text{old}}(o_{i,t} \mid q, o_{i,<t})}{\pi_{\mathrm{ref}}(o_{i,t} \mid q, o_{i,<t})}.

حساب الميزة

بمجرد حساب المكافآت لكل إكمال، نحسب خط أساس على شكل متوسط مكافآت جميع العينات الأخرى في الدفعة نفسها، مع استبعاد العينة الحالية. يُستخدم هذا الخط الأساس لتقليل تباين تقدير تدرّج السياسة. ثم يُستخرج الميزة (Advantage) لكل إكمال على شكل الفرق بين مكافأته الخاصة وخط الأساس هذا الذي يستبعد العينة الواحدة.

رسميًا، فيما يتعلق بدفعة من G إكمالات، يكون الأساس (baseline) للإكمال كالتالي:bi=1G−1∑j≠irj b_i = \frac{1}{G-1} \sum_{j \neq i} r_j

ثم يُحسب الميزة لكل إكمال على أنه الفرق بين مكافأته والخط الأساسي: Ai=ri−bi A_i = r_i - b_i

حساب الخسارة

يُعرَّف خسارة REINFORCE ببساطة على النحو التالي: LRLOO(θ)=−1G∑i=1GA^i log⁡πθ(oi∣q) \mathcal{L}_{\text{RLOO}}(\theta) = - \frac{1}{G} \sum_{i=1}^G \hat{A}_i \, \log \pi_\theta(o_i \mid q)

في الممارسة العملية، يؤدي تنفيذ خطوات تدرّج متعددة على نفس الدفعة إلى أن تصبح الإجراءات غير متوافقة فعليًا مع السياسة الحالية بالنسبة للمعاملات. لتصحيح ذلك، نعرّف نسبة أخذ العينات المهمة. ومنعًا لتحديثات كبيرة بشكل مفرط عندما تتغير السياسة بين أخذ العينات وخطوات التدرّج، نقوم بقطع هذه النسبة: LRLOO(θ)=−1G∑i=1Gmin⁡(πθ(oi∣q)πθold(oi∣q)A^i, clip(πθ(oi∣q)πθold(oi∣q),1−ϵ,1+ϵ)A^i) \mathcal{L}_{\text{RLOO}}(\theta) = - \frac{1}{G} \sum_{i=1}^G \min \left( \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_\text{old}}(o_i \mid q)} \hat{A}_i, \, \text{clip}\left(\frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_\text{old}}(o_i \mid q)}, 1-\epsilon, 1+\epsilon\right) \hat{A}_i \right)

في إعداد أحادي الخطوة بالكامل عبر الإنترنت (الافتراضي)، πθ(oi∣q)πθold(oi∣q)=1 \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_\text{old}}(o_i \mid q)} = 1 ويختزل هذا إلى REINFORCE القياسي.

على عكس GRPO، لا يقوم RLOO بنشر التدرجات عكسيًا عبر حد KL. هنا يُستخدم KL بشكل خالص لتشكيل المكافأة: حيث يُحسب تحت no_grad ويُدمج في المكافأة القياسية ri r_i , التي تصبح الميزة المنفصلة A^i \hat{A}_i .

بعبارة أخرى، المسار الوحيد الذي تتدفق من خلاله التدرجات إلى السياسة هو حد نسبة الأهمية πθ(oi∣q)πθold(oi∣q) \frac{\pi_\theta(o_i \mid q)}{\pi_{\theta_\text{old}}(o_i \mid q)} , ولا يتم عكس التدرجات من حد KL إلى السياسة.

على النقيض من ذلك، GRPO يضيف حد KL صريحًا وقابلًا للاشتقاق إلى دالة الهدف، ويُحسب على الفور باستخدام السياسة الحالية πθ \pi_\theta , بحيث يتدفق تدرجه عبر حد النسبة وعقوبة KL.

المقاييس المسجّلة

أثناء التدريب والتقييم، نسجّل المقاييس التالية:

  • num_tokens: إجمالي عدد الرموز التي تمت معالجتها حتى الآن، بما في ذلك المحفزات والإكمالات.
  • step_time: متوسط الوقت (بالثواني) المستغرق لكل خطوة تدريب (بما في ذلك التوليد).
  • completions/mean_length: متوسط طول المكملات المولّدة.
  • completions/min_length: الحد الأدنى لطول المكملات المولّدة.
  • completions/max_length: الحد الأقصى لطول المكملات المولّدة.
  • completions/mean_terminated_length: متوسط طول المكملات المولّدة التي تنتهي بـ EOS.
  • completions/min_terminated_length: الحد الأدنى لطول المكملات المولّدة التي تنتهي بـ EOS.
  • completions/max_terminated_length: الحد الأقصى لطول المكملات المولّدة التي تنتهي بـ EOS.
  • completions/clipped_ratio: نسبة الإكمالات المقطوعة (المُقصاة).
  • rewards/{reward_func_name}/mean: متوسط المكافأة من دالة مكافأة محددة.
  • rewards/{reward_func_name}/std: الانحراف المعياري للمكافأة من دالة مكافأة محددة.
  • reward: متوسط المكافأة الإجمالي بعد جمع المكافآت عبر الدوال (موزونة بـ reward_weights).
  • reward_std: الانحراف المعياري للمكافآت المجمعة عبر الدوال (موزونة بـ reward_weights)، محسوبًا على الدفعة الكاملة.
  • frac_reward_zero_std: نسبة العينات في دفعة التوليد التي يكون انحراف مكافأتها المعياري صفراً، مما يعني أن التنوع ضئيل لذلك الاستدعاء (جميع الإجابات صحيحة أو خاطئة).
  • entropy: متوسط إنتروبيا توقعات الرموز عبر المكملات المولّدة. (إذا كان mask_truncated_completions=True، يتم استبعاد رموز التسلسلات المقنّعة.)
  • aux_loss: خسارة التوازن على الأحمال المساعدة لنموذج مزيج الخبراء، قبل أن تُضرب في router_aux_loss_coef وتُضاف إلى الخسارة. تُسجَّل فقط عندما يكون النموذج من نوع MoE وrouter_aux_loss_coef غير صفري.
  • kl: متوسط تباعد كوهين-ليبلر بين النموذج ونموذج المرجع، محسوبًا على المكملات المولّدة. يُسجَّل فقط إذا كان beta غير صفري.
  • clip_ratio/region_mean: نسبة احتمالات التسلسلات التي يُقصّ فيها هدف RLOO ليبقى ضمن منطقة الثقة: clip(ri(θ),1−ϵlow,1+ϵhigh) ,ri(θ)=πθ(oi∣q)πθold(oi∣q) \text{clip}\left( r_{i}(\theta), 1 - \epsilon_\mathrm{low}, 1 + \epsilon_\mathrm{high} \right)\,, \quad r_{i}(\theta) = \frac{\pi_\theta(o_{i} \mid q)}{\pi_{\theta_{\text{old}}}(o_{i} \mid q)} . تدل قيمة أعلى على أن عددًا أكبر من العينات يُقصّ، مما يقيّد مدى التغيير الذي يمكن أن تطرده السياسة πθ\pi_\theta .
  • clip_ratio/low_mean: متوسط نسبة احتمالات التسلسلات التي تم اقتطاعها عند الحد الأدنى لمنطقة الثقة: ri,t(θ)<1−ϵlowr_{i,t}(\theta) < 1 - \epsilon_\mathrm{low}.
  • clip_ratio/low_min: أصغر مؤشر قصّ لكل إكمال على الحد الأدنى لمنطقة الثقة: ri,t(θ)<1−ϵlowr_{i,t}(\theta) < 1 - \epsilon_\mathrm{low}.
  • clip_ratio/high_mean: متوسط نسبة احتمالات التسلسلات التي تم اقتطاعها عند الحد الأعلى لمنطقة الثقة: ri,t(θ)>1+ϵhighr_{i,t}(\theta) > 1 + \epsilon_\mathrm{high}.
  • clip_ratio/high_max: أكبر مؤشر قصّ لكل إكمال على الحد الأعلى لمنطقة الثقة: ri,t(θ)>1+ϵhighr_{i,t}(\theta) > 1 + \epsilon_\mathrm{high}.

التخصيص

تسريع التدريب باستخدام التوليد المدعوم من vLLM

غالبًا ما يكون التوليد هو العائق الرئيسي عند التدريب باستخدام الأساليب المباشرة. لتسريع التوليد، يمكنك استخدام vLLM، وهو محرك استدلال عالي الإنتاجية ومنخفض الكمون للنماذج اللغوية الكبيرة. لتفعيله، قم أولاً بتثبيت الحزمة باستخدام

pip install trl[vllm]

ندعم طريقتين لاستخدام vLLM أثناء التدريب: وضع الخادم ووضع التجميع.

الخيار 1: وضع التجميع

في هذا الوضع، يعمل vLLM داخل عملية المُدرِّب ويتشارك ذاكرة GPU مع نموذج التدريب. يتجنّب هذا إطلاق خادم منفصل ويمكن أن يحسّن استخدام GPU، لكنه قد يؤدي إلى تنافس على الذاكرة في وحدات GPU الخاصة بالتدريب. هذا هو الوضع الافتراضي.

from trl import RLOOConfig

training_args = RLOOConfig(
    ...,
    use_vllm=True,  # vllm_mode="colocate" by default
)

الخيار 2: وضع الخادم

في هذا الوضع، يعمل vLLM في عملية منفصلة (ويعتمد على وحدات معالجة رسومية منفصلة) ويتواصل مع المُدرِّب عبر HTTP. وهذا مثالي إذا كانت لديك وحدات معالجة رسومية مخصصة للاستدلال.

  1. بدء خادم vLLM:

    VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
        --weight-transfer-config '{"backend": "nccl"}' \
        --logprobs-mode processed_logprobs \
        --max-logprobs -1
  2. تفعيل وضع الخادم في سكربت التدريب الخاص بك:

    from trl import RLOOConfig
    
    training_args = RLOOConfig(
        ...,
        use_vllm=True,
        vllm_mode="server",
    )

تأكد من أن الخادم يستخدم وحدات معالجة رسومية مختلفة عن تلك التي يستخدمها المدرب، وإلا فقد تواجه أخطاء NCCL. يمكنك تحديد وحدات المعالجة الرسومية المراد استخدامها باستخدام متغير البيئة CUDA_VISIBLE_DEVICES.

يعتمد على حجم النموذج ومتطلبات ذاكرة وحدة معالجة الرسوميات (GPU) الإجمالية للتدريب، قد تحتاج إلى ضبط معامل vllm_gpu_memory_utilization في RLOOConfig لتجنب سوء الاستخدام أو أخطاء نفاد الذاكرة.

نوفر مساحة HF لمساعدتك في تقدير استهلاك ذاكرة وحدة معالجة الرسوميات الموصى به بناءً على إعدادات النموذج وإعدادات التجربة الخاصة بك. ما عليك سوى استخدامه على النحو التالي للحصول على توصية vllm_gpu_memory_utilization:

إذا لم يعمل القيمة الموصى بها في بيئتك، نقترح إضافة هامش صغير (مثل +0.05 أو +0.1) إلى القيمة الموصى بها لضمان الاستقرار.

إذا كنت لا تزال تواجه أخطاء نفاد الذاكرة، فاضبط vllm_enable_sleep_mode على True وسيتم تفريغ معاملات vllm والذاكرة المؤقتة أثناء خطوة التحسين. لمزيد من المعلومات، راجع تقليل استخدام الذاكرة مع وضع السكون في vLLM.

افتراضيًا، يستخدم RLOO MASTER_ADDR=localhost وMASTER_PORT=12345 لـ vLLM، لكن يمكنك تجاوز هذه القيم عن طريق تعيين متغيرات البيئة وفقًا لذلك.

لمزيد من المعلومات، راجع تسريع التدريب باستخدام vLLM.

RLOO على نطاق واسع: تدريب نموذج بحجم 70B+ على عدة عقد

عند تدريب نماذج كبيرة مثل Qwen2.5-72B، تحتاج إلى عدة تحسينات رئيسية لجعل التدريب فعالاً وقابلاً للتوسع عبر وحدات معالجة الرسوميات (GPUs) وعُقد متعددة. وتشمل هذه التحسينات:

  • DeepSpeed ZeRO Stage 3: يستفيد ZeRO من توازي البيانات لتوزيع حالات النموذج (الأوزان، التدرجات، حالات المُحسِّن) على وحدات معالجة رسومية ووحدات معالجة مركزية متعددة، مما يقلل من متطلبات الذاكرة والحساب على كل جهاز. وبما أن النماذج الكبيرة لا يمكن استيعابها على وحدة معالجة رسومية واحدة، فإن استخدام ZeRO Stage 3 مطلوب لتدريب مثل هذه النماذج. لمزيد من التفاصيل، راجع DeepSpeed Integration.
  • torchrun: يبدأ مُشغِّل PyTorch عملية واحدة لكل وحدة معالجة رسومية على كل عقدة، ويربطها عبر نقطة تجمع مشتركة. لمزيد من التفاصيل، راجع توزيع التدريب.
  • vLLM: راجع القسم السابق لمعرفة كيفية استخدام vLLM لتسريع عملية التوليد.

فيما يلي مثال على سكربت SLURM لتدريب نموذج بحجم 70B باستخدام RLOO على عدة عقد. يقوم هذا السكربت بتدريب النموذج على 4 عقد ويستخدم العُقدة الخامسة للتوليد المدعوم بـ vLLM.

#!/bin/bash
#SBATCH --nodes=5
#SBATCH --gres=gpu:8

# Get the list of allocated nodes
NODELIST=($(scontrol show hostnames $SLURM_JOB_NODELIST))

# Assign the first 4 nodes for training and the 5th node for vLLM
TRAIN_NODES="${NODELIST[@]:0:4}"  # Nodes 0, 1, 2, 3 for training
VLLM_NODE="${NODELIST[4]}"  # Node 4 for vLLM

# Run training on the first 4 nodes (Group 1)
srun --nodes=4 --ntasks=4 --nodelist="${NODELIST[@]:0:4}" torchrun \
     --nnodes 4 \
     --nproc_per_node 8 \
     --node_rank $SLURM_PROCID \
     --rdzv_backend c10d \
     --rdzv_endpoint ${NODELIST[0]}:29500 \
     train_rloo.py \
     --server_ip $VLLM_NODE &

# Run vLLM server on the 5th node (Group 2)
srun --nodes=1 --ntasks=1 --nodelist="${NODELIST[4]}" env VLLM_SERVER_DEV_MODE=1 vllm serve Qwen/Qwen2.5-72B --tensor-parallel-size 8 \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1 &

wait
import argparse

from datasets import load_dataset
from trl import RLOOTrainer, RLOOConfig

def main():
    parser = argparse.ArgumentParser()
    parser.add_argument("--vllm_server_host", type=str, default="", help="The server IP")
    args = parser.parse_args()

    # Example dataset from TLDR
    dataset = load_dataset("trl-lib/tldr", split="train")

    # Dummy reward function: count the number of unique characters in the completions
    def reward_num_unique_chars(completions, **kwargs):
        return [len(set(c)) for c in completions]

    training_args = RLOOConfig(
        output_dir="Qwen2.5-72B-RLOO",
        per_device_train_batch_size=4,
        bf16=True,
        deepspeed="examples/deepspeed_configs/zero3.json",
        use_vllm=True,
        vllm_mode="server",
        vllm_server_host=args.vllm_server_host.replace("ip-", "").replace("-", "."),  # from ip-X-X-X-X to X.X.X.X
    )

    trainer = RLOOTrainer(model="Qwen/Qwen2.5-72B", args=training_args, reward_funcs=reward_num_unique_chars, train_dataset=dataset)
    trainer.train()

if __name__=="__main__":
    main()

استخدام دالة مكافأة مخصصة

يدعم RLOOTrainer استخدام دوال مكافأة مخصصة بدلاً من نماذج المكافأة الكثيفة. لضمان التوافق، يجب أن تستوفي دالة المكافأة الخاصة بك المتطلبات التالية:

يمكن أن تكون دوال المكافآت إما دوال Python متزامنة قابلة للاستدعاء، أو دوال async def غير متزامنة. عند تقديم عدة دوال مكافأة غير متزامنة، يتم انتظارها بشكل متزامن (تُنفَّذ بالتوازي عبر asyncio.gather) بحيث تتداخل أزمنتها المستجيب.

  1. حجج الإدخال:

    • يجب أن تقبل الدالة ما يلي كحجج مُسمّاة:

      • prompts (تحتوي على الأوامر)،
      • completions (تحتوي على الاكتمالات المولّدة)،
      • completion_ids (تحتوي على المكملات المُرمَّزة)،
      • trainer_state (TrainerState): الحالة الحالية للمدرّب. يمكن استخدام هذا لتنفيذ دوال مكافأة ديناميكية، مثل التعلم المنهجي (curriculum learning)، حيث يتم تعديل المكافأة بناءً على تقدم التدريب.
      • log_extra: دالة قابلة للاستدعاء log_extra(column: str, values: list) لإضافة أعمدة إضافية إلى جدول الاكتمالات. انظر إلى المثال 6.
      • log_metric: دالة قابلة للاستدعاء log_metric(name: str, value: float) لتسجيل مقاييس قياسية على شكل رسوم بيانية إلى جانب kl، entropy، وما إلى ذلك. راجع المثال 6.
      • جميع أسماء الأعمدة (باستثناء prompt) التي قد يحتوي عليها مجموعة البيانات. على سبيل المثال، إذا كانت مجموعة البيانات تحتوي على عمود باسم ground_truth، فسيتم استدعاء الدالة مع ground_truth كحجة اسمية.

      أسهل طريقة للامتثال لهذا المتطلب هي استخدام **kwargs في توقيع الدالة.

    • يعتمد شكل المدخلات على صيغة مجموعة البيانات:

  2. القيمة المُعادَة: يجب أن تُعيد الدالة قائمة من الأرقام العشرية. يمثل كل رقم عشري المكافأة المقابلة لإكمال واحد.

المثال 1: مكافأة الإكمالات الأطول

فيما يلي مثال على دالة مكافأة لتنسيق قياسي يكافئ الإكمالات الأطول:

def reward_func(completion_ids, **kwargs):
    """Reward function that assigns higher scores to longer completions (in terms of token count)."""
    return [float(len(ids)) for ids in completion_ids]

يمكنك اختباره على النحو التالي:

>>> prompts = ["The sky is", "The sun is"]  # not used in the reward function, but the trainer will pass it
>>> completions = [" blue.", " in the sky."]  # not used in the reward function, but the trainer will pass it
>>> completion_ids = [[6303, 13], [304, 279, 12884, 13]]
>>> reward_func(prompts=prompts, completions=completions, completion_ids=completion_ids)
[2.0, 4.0]

المثال 1.1: مكافأة الإكمالات الأطول (بناءً على عدد الأحرف)

نفس المثال السابق، لكن هذه المرة تعتمد دالة المكافأة على عدد الأحرف بدلاً من الرموز.

def reward_func(completions, **kwargs):
    """Reward function that assigns higher scores to longer completions (in terms of character count)."""
    return [float(len(completion)) for completion in completions]

يمكنك اختباره على النحو التالي:

>>> prompts = ["The sky is", "The sun is"]
>>> completions = [" blue.", " in the sky."]
>>> completion_ids = [[6303, 13], [304, 279, 12884, 13]]  # not used in the reward function, but the trainer will pass it
>>> reward_func(prompts=prompts, completions=completions, completion_ids=completion_ids)
[6.0, 12.0]

المثال 2: مكافأة الإكمالات بصيغة محددة

فيما يلي مثال على دالة مكافأة تتحقق مما إذا كانت الإكمال (completion) يتبع تنسيقًا محددًا. استُوحِي هذا المثال من دالة format reward المستخدمة في ورقة DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. تم تصميمها لتنسيق محادثة، حيث تتكون المحفزات (prompts) والإكمالات (completions) من رسائل منظمة.

import re

def format_reward_func(completions, **kwargs):
    """Reward function that checks if the completion has a specific format."""
    pattern = r"^<think>.*?</think><answer>.*?</answer>$"
    completion_contents = [completion[0]["content"] for completion in completions]
    matches = [re.match(pattern, content) for content in completion_contents]
    return [1.0 if match else 0.0 for match in matches]

يمكنك اختبار هذه الدالة على النحو التالي:

>>> prompts = [
...     [{"role": "user", "content": "What is the result of (1 + 2) * 4?"}],
...     [{"role": "user", "content": "What is the result of (3 + 1) * 2?"}],
... ]
>>> completions = [
...     [{"role": "assistant", "content": "<think>The sum of 1 and 2 is 3, which we multiply by 4 to get 12.</think><answer>(1 + 2) * 4 = 12</answer>"}],
...     [{"role": "assistant", "content": "The sum of 3 and 1 is 4, which we multiply by 2 to get 8. So (3 + 1) * 2 = 8."}],
... ]
>>> format_reward_func(prompts=prompts, completions=completions)
[1.0, 0.0]

المثال 3: مكافأة الاكتمالات بناءً على مرجع

فيما يلي مثال على دالة مكافأة تتحقق من صحة الإكمال. يستلهم هذا المثال دالة مكافأة الدقة المستخدمة في ورقة DeepSeek-R1: Incentivizing Reasoning Capability in LLMs via Reinforcement Learning. تم تصميم هذا المثال لـ التنسيق القياسي، حيث يحتوي مجموعة البيانات على عمود باسم ground_truth.

import re

def reward_func(completions, ground_truth, **kwargs):
    # Regular expression to capture content inside \boxed{}
    matches = [re.search(r"\\boxed\{(.*?)\}", completion) for completion in completions]
    contents = [match.group(1) if match else "" for match in matches]
    # Reward 1 if the content is the same as the ground truth, 0 otherwise
    return [1.0 if c == gt else 0.0 for c, gt in zip(contents, ground_truth)]

يمكنك اختبار هذه الدالة على النحو التالي:

>>> prompts = ["Problem: Solve the equation $2x + 3 = 7$. Solution:", "Problem: Solve the equation $3x - 5 = 10$."]
>>> completions = [r" The solution is \boxed{2}.", r" The solution is \boxed{6}."]
>>> ground_truth = ["2", "5"]
>>> reward_func(prompts=prompts, completions=completions, ground_truth=ground_truth)
[1.0, 0.0]

المثال 4: دوال المكافآت متعددة المهام

فيما يلي مثال على استخدام دوال مكافأة متعددة في RLOOTrainer. في هذا المثال، نعرّف دالتي مكافأة مخصصتين للمهام: math_reward_func وcoding_reward_func. تكافئ math_reward_func مسائل الرياضيات بناءً على صحتها، بينما تكافئ coding_reward_func مسائل البرمجة بناءً على ما إذا كانت الحل يعمل.

from datasets import Dataset
from trl import RLOOTrainer

# Define a dataset that contains both math and coding problems
dataset = Dataset.from_list(
    [
        {"prompt": "What is 2+2?", "task": "math"},
        {"prompt": "Write a function that returns the sum of two numbers.", "task": "code"},
        {"prompt": "What is 3*4?", "task": "math"},
        {"prompt": "Write a function that returns the product of two numbers.", "task": "code"},
    ]
)

# Math-specific reward function
def math_reward_func(prompts, completions, task, **kwargs):
    rewards = []
    for prompt, completion, t in zip(prompts, completions, task):
        if t == "math":
            # Calculate math-specific reward
            correct = check_math_solution(prompt, completion)
            reward = 1.0 if correct else -1.0
            rewards.append(reward)
        else:
            # Return None for non-math tasks
            rewards.append(None)
    return rewards

# Coding-specific reward function
def coding_reward_func(prompts, completions, task, **kwargs):
    rewards = []
    for prompt, completion, t in zip(prompts, completions, task):
        if t == "code":
            # Calculate coding-specific reward
            works = test_code_solution(prompt, completion)
            reward = 1.0 if works else -1.0
            rewards.append(reward)
        else:
            # Return None for non-coding tasks
            rewards.append(None)
    return rewards

# Use both task-specific reward functions
trainer = RLOOTrainer(
    model="Qwen/Qwen2-0.5B-Instruct",
    reward_funcs=[math_reward_func, coding_reward_func],
    train_dataset=dataset,
)

trainer.train()

في هذا المثال، صُمّمت math_reward_func وcoding_reward_func للعمل مع مجموعة بيانات مختلطة تحتوي على مسائل رياضية ومسائل برمجية. يُستخدم عمود task في مجموعة البيانات لتحديد دالة المكافأة التي يجب تطبيقها على كل مسألة. إذا لم تكن هناك دالة مكافأة ذات صلة لعينة في مجموعة البيانات، فإن دالة المكافأة ستعيد None، وسيواصل RLOOTrainer العمل بالدوال والمهام الصالحة. وهذا يتيح لـRLOOTrainer التعامل مع دوال مكافأة متعددة ذات نطاقات تطبيق مختلفة.

لاحظ أن RLOOTrainer سيتجاهل مكافآت None التي تُعاد من دوال المكافآت، وسيأخذ في الاعتبار فقط المكافآت التي تُعاد من الدوال ذات الصلة. وهذا يضمن تدريب النموذج على المهام ذات الصلة وتجاهل المهام التي لا توجد لها دالة مكافآت ذات صلة.

المثال 5: دوال المكافآت غير المتزامنة

يمكن أيضًا تعريف دوال المكافأة المخصصة كدوال async def غير متزامنة. وهذا مفيد إذا كانت مكافأتك تعتمد على عمليات إدخال/إخراج بطيئة (على سبيل المثال، استدعاء خدمة عن بُعد). عند تمرير عدة دوال مكافأة غير متزامنة، ينفذ RLOOTrainer هذه الدوال بشكل متوازٍ بحيث تتداخل أزمنه استجابتها.

فيما يلي مثال مبسّط لدالة مكافأة غير متزامنة تحاكي عملية تعتمد على الإدخال/الإخراج:

import asyncio

async def async_reward_func(prompts, completions, **kwargs):
    # Simulate an I/O-bound call (e.g., HTTP request, database lookup)
    await asyncio.sleep(0.01)
    # Simple toy reward: 1.0 if the completion is non-empty, else 0.0
    return [1.0 if completion else 0.0 for completion in completions]

المثال 6: تسجيل أعمدة ومؤشرات إضافية

فيما يلي مثال على دالة مكافأة تسجّل أعمدة إضافية في جدول الإكمالات والمقاييس القياسية على شكل رسوم بيانية.

import re

def reward_func(completions, ground_truth, log_extra=None, log_metric=None, **kwargs):
    extracted = [re.search(r"\\boxed\{(.*?)\}", c) for c in completions]
    extracted = [m.group(1) if m else None for m in extracted]
    rewards = [1.0 if e == gt else 0.0 for e, gt in zip(extracted, ground_truth)]

    if log_extra:
        log_extra("golden_answer", list(ground_truth))
        log_extra("extracted_answer", [e or "[none]" for e in extracted])

    if log_metric:
        log_metric("accuracy", sum(rewards) / len(rewards))

    return rewards

تمرير دالة المكافأة إلى المدرب

لاستخدام دالة المكافأة المخصصة الخاصة بك، قم بتمريرها إلى RLOOTrainer على النحو التالي:

from trl import RLOOTrainer

trainer = RLOOTrainer(
    reward_funcs=reward_func,
    ...,
)

يمكنك تمرير عدة دوال مكافأة كقائمة؛ وقد تتضمن هذه القائمة دوالًا متزامنة وغير متزامنة على حد سواء:

from trl import RLOOTrainer

trainer = RLOOTrainer(
    reward_funcs=[reward_func, async_reward_func1, async_reward_func2],
    ...,
)

وستُحسب المكافأة على أنها مجموع المكافآت من كل دالة، أو المجموع الموزون إذا تم تقديم reward_weights في الإعدادات.

لاحظ أن RLOOTrainer يدعم دوال مكافأة متعددة من أنواع مختلفة. راجع توثيق المعلمات لمزيد من التفاصيل.

تدريب نماذج اللغة البصرية

يدعم RLOO تدريب نماذج الرؤية واللغة (VLMs) على مجموعات بيانات متعددة الوسائط تحتوي على كل من النص والصور.

النماذج المدعومة

تم الاختبار مع:

  • Gemma3 — على سبيل المثال، google/gemma-3-4b-it
  • LLaVA-NeXT — على سبيل المثال، llava-hf/llava-v1.6-mistral-7b-hf
  • Qwen2-VL — على سبيل المثال، Qwen/Qwen2-VL-2B-Instruct
  • Qwen2.5-VL — على سبيل المثال، Qwen/Qwen2.5-VL-3B-Instruct
  • SmolVLM2 — على سبيل المثال، HuggingFaceTB/SmolVLM2-2.2B-Instruct

لا يُكفَل التوافق مع جميع نماذج VLM. إذا كنت تعتقد أنه ينبغي دعم نموذج معين، فلا تتردد في فتح مشكلة على GitHub — أو الأفضل من ذلك، تقديم طلب سحب يتضمن التغييرات المطلوبة.

البدء السريع

استخدم rloo_vlm.py لضبط نموذج VLM. مثال على الأمر للتدريب على lmms-lab/multimodal-open-r1-8k-verified:

torchrun --nproc_per_node 8 examples/rloo_visual_math/rloo_visual_math.py \
  --deepspeed examples/deepspeed_configs/zero3.json \
  --model_name_or_path Qwen/Qwen2.5-VL-3B-Instruct \
  --output_dir rloo-Qwen2.5-VL-3B-Instruct \
  --learning_rate 1e-5 \
  --dtype bfloat16 \
  --max_completion_length 1024 \
  --use_vllm \
  --vllm_mode colocate \
  --use_peft \
  --lora_target_modules "q_proj", "v_proj" \
  --log_completions

نصائح حول التهيئة

  • استخدام LoRA على طبقات الإسقاط الخاصة بلغة الرؤية
  • تفعيل التكميم بدقة 4 بت لتقليل استهلاك الذاكرة
  • تستهلك نماذج اللغة المرئية (VLMs) ذاكرة كبيرة — ابدأ بحجم دفعات أصغر
  • تتوافق معظم النماذج مع vLLM (أوضاع server وcolocate)

تنسيق مجموعة البيانات

يجب أن يتضمن كل عينة تدريب:

  • prompt: نص منسّق عبر قالب المحادثة الخاص بالمعالج
  • image/images: صورة PIL أو قائمة بصور PIL

يتولى المدرب تلقائياً تحويل الصور إلى متجهات (تensors) عبر معالج الصور الخاص بالنموذج.

RLOOTrainer

فئة trl.RLOOTrainer

< >

( model: str | PreTrainedModel | PeftModelreward_funcs: str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]] | list[str | transformers.modeling_utils.PreTrainedModel | collections.abc.Callable[..., list[float | None]]]args: trl.trainer.rloo_config.RLOOConfig | None = Nonetrain_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | None = Noneeval_dataset: datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset | datasets.dataset_dict.DatasetDict | datasets.dataset_dict.IterableDatasetDict | dict[str, datasets.arrow_dataset.Dataset | datasets.iterable_dataset.IterableDataset] | None = Noneprocessing_class: transformers.tokenization_utils_base.PreTrainedTokenizerBase | transformers.processing_utils.ProcessorMixin | None = Nonereward_processing_classes: transformers.tokenization_utils_base.PreTrainedTokenizerBase | list[transformers.tokenization_utils_base.PreTrainedTokenizerBase] | None = Nonecallbacks: list[transformers.trainer_callback.TrainerCallback] | None = Noneoptimizers: tuple[typing.Optional[torch.optim.Optimizer], typing.Optional[torch.optim.lr_scheduler.LambdaLR]] = (None, None)quantization_config: BitsAndBytesConfig | None = Nonepeft_config: PeftConfig | None = None )

المعاملات

  • model (str أو PreTrainedModel أو PeftModel) — النموذج المراد تدريبه. يمكن أن يكون أحد ما يلي:
    • سلسلة نصية، تكون معرف النموذج لنموذج مُدرَّب مسبقًا مستضاف داخل مستودع نماذج على huggingface.co، أو مسارًا إلى مجلد يحتوي على أوزان النموذج المحفوظة باستخدام save_pretrained، مثل './my_model_directory/'. يتم تحميل النموذج باستخدام <ModelArchitecture>.from_pretrained (حيث يُشتق <ModelArchitecture> من إعدادات النموذج) مع الحُجج المُسمّاة الموجودة في args.model_init_kwargs. إذا لم يُحدد dtype في args.model_init_kwargs، فإن القيمة الافتراضية هي float32. وهذا يختلف عن from_pretrained، حيث (منذ Transformers v5) يُستنتج نوع البيانات من إعدادات النموذج.
    • كائن PreTrainedModel. يتم دعم نماذج اللغة السببية فقط.
    • كائن PeftModel. يتم دعم نماذج اللغة السببية فقط.
  • reward_funcs (RewardFunc | list[RewardFunc]) — دوال المكافآت المستخدمة لحساب المكافآت. لحساب المكافآت، نستدعي جميع دوال المكافآت باستخدام المحفّزات (prompts) والإكمالات (completions) ثم نجمع المكافآت. يمكن أن تكون:
    • دالة مكافأة واحدة، مثل:

      • A string: The model ID of a pretrained model hosted inside a model repo on huggingface.co, or a path to a directory containing model weights saved using save_pretrained, e.g., './my_model_directory/'. The model is loaded using from_pretrained with num_labels=1 and the keyword arguments in args.model_init_kwargs.

      • كائن PreTrainedModel: يتم دعم نماذج تصنيف التسلسل فقط.

      • دالة مكافأة مخصصة: تُزوَّد الدالة بالموجِّهات (prompts) والإكمالات المولَّدة، بالإضافة إلى أي أعمدة إضافية في مجموعة البيانات. يجب أن تُرجع قائمة بالمكافآت. يمكن أن تكون دوال المكافأة المخصصة متزامنة أو غير متزامنة، كما يمكنها إرجاع None عندما لا تنطبق المكافأة على تلك العينات. وهذا مفيد في التدريب متعدد المهام حيث تنطبق دوال مكافأة مختلفة على أنواع مختلفة من العينات. عندما تُرجع دالة المكافأة None لعينة معينة، تُستبعد تلك الدالة من حساب المكافأة لتلك العينة. لمزيد من التفاصيل، راجع استخدام دالة مكافأة مخصصة.

        يتم تمرير حالة المدرب أيضًا إلى دالة المكافأة. حالة المدرب هي نسخة من TrainerState ويمكن الوصول إليها عن طريق الوصول إلى الحجة trainer_state في توقيع دالة المكافأة.

    • قائمة من دوال المكافأة، حيث يمكن أن يكون كل عنصر بشكل مستقل أيًا من الأنواع المذكورة أعلاه. يُسمح بخلط أنواع مختلفة داخل القائمة (مثل معرّف نموذج نصي ودالة مكافأة مخصصة).

  • args (RLOOConfig، اختياري) — إعدادات هذا المدرب. إذا كانت None، يتم استخدام إعداد افتراضي.
  • train_dataset (Dataset أو IterableDataset) — مجموعة البيانات المستخدمة للتدريب. يجب أن تتضمن عمودًا "prompt". أي أعمدة إضافية في مجموعة البيانات يتم تجاهلها. يمكن أن يكون تنسيق العينات إما:
    • قياسي: يحتوي كل عينة على نص عادي.
    • حواري: تحتوي كل عينة على رسائل منظمة (مثل الدور والمحتوى).

    عندما يكون train_dataset من نوع IterableDataset (مثل مجموعة بيانات التدفق)، يجب تعيين max_steps في حُجج التدريب، لأن طولها لا يمكن استنتاجه، ويُطلب تحديد إجمالي عدد خطوات التدريب لتحديد نطاق حلقة التدريب وإعداد مجدول معدل التعلم.

  • eval_dataset (Dataset أو IterableDataset أو DatasetDict أو IterableDatasetDict أو dict[str, Dataset | IterableDataset]) — مجموعة البيانات المستخدمة للتقييم. يجب أن تستوفي نفس المتطلبات التي تستوفيها train_dataset.
  • processing_class (PreTrainedTokenizerBase، ProcessorMixin، اختياري) — فئة المعالجة المستخدمة لمعالجة البيانات. يجب ضبط جانب الحشو على “يسار”. إذا كانت None، يتم تحميل فئة المعالجة من اسم النموذج باستخدام from_pretrained. يجب ضبط رمز الحشو، tokenizer.pad_token. إذا لم تضبط فئة المعالجة رمز الحشو، سيتم استخدام tokenizer.eos_token كقيمة افتراضية.
  • reward_processing_classes (PreTrainedTokenizerBase أو list[PreTrainedTokenizerBase], اختياري) — فئات المعالجة المقابلة لدوال المكافأة المحددة في reward_funcs. يمكن أن تكون إما:
    • فئة معالجة واحدة: تُستخدم عندما يحتوي reward_funcs على دالة مكافأة واحدة فقط.
    • قائمة من فئات المعالجة: يجب أن تتطابق مع ترتيب وطول دوال المكافآت في reward_funcs. إذا تم ضبطها على None، أو إذا كان عنصر في القائمة يقابل PreTrainedModel هو None، يتم تحميل مُرمّز النموذج تلقائيًا باستخدام from_pretrained. بالنسبة للعناصر في reward_funcs التي هي دوال مكافآت مخصصة (ليست PreTrainedModel)، يتم تجاهل الإدخالات المقابلة في reward_processing_classes.
  • callbacks (قائمة من TrainerCallback, اختياري) — قائمة من استدعاءات المراجعة (callbacks) لتخصيص حلقة التدريب. ستُضاف هذه الاستدعاءات إلى قائمة استدعاءات المراجعة الافتراضية المفصّلة هنا.

    إذا كنت ترغب في إزالة أحد المراجعات الافتراضية المستخدمة، فاستخدم طريقة remove_callback.

  • optimizers (tuple[torch.optim.Optimizer | None, torch.optim.lr_scheduler.LambdaLR | None]، اختياري، القيمة الافتراضية (None, None)) — مجموعة (tuple) تحتوي على المُحسِّن (optimizer) والمُجدوِل (scheduler) المطلوبين للاستخدام. ستكون القيمة الافتراضية هي نسخة من AdamW على النموذج الخاص بك، مع مُجدوِل يُحدده get_linear_schedule_with_warmup ويُتحكم به عبر args.
  • quantization_config (BitsAndBytesConfig، اختياري) — إعدادات التكميم المستخدمة عند تحميل النموذج من معرّف النموذج. ادمجها مع peft_config لتدريب QLoRA. يتم تجاهلها إذا كان النموذج مُنشأً بالفعل.
  • peft_config (PeftConfig، اختياري) — إعدادات PEFT المستخدمة لتغليف النموذج. إذا كانت None، فلن يتم تغليف النموذج.

Trainer for the Reinforce Leave One Out (RLOO) method. This algorithm was initially proposed in the paper Back to Basics: Revisiting REINFORCE Style Optimization for Learning from Human Feedback in LLMs.

مثال:

>>> from trl import RLOOTrainer
>>> from trl.rewards import accuracy_reward
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/DeepMath-103K", split="train")

>>> trainer = RLOOTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     reward_funcs=accuracy_reward,
...     train_dataset=dataset,
... )
>>> trainer.train()

تدريب

< >

( resume_from_checkpoint: str | bool | None = Nonetrial: optuna.Trial | dict[str, Any] | None = Noneignore_keys_for_eval: list[str] | None = None ) → ~trainer_utils.TrainOutput

المعاملات

  • resume_from_checkpoint (str أو bool، اختياري) — إذا كان str، فهو المسار المحلي لنقطة تفتيش محفوظة بواسطة نسخة سابقة من Trainer. وإذا كان bool ويساوي True، يتم تحميل آخر نقطة تفتيش في args.output_dir كما حفظتها نسخة سابقة من Trainer. إذا كانت موجودة، فسيستأنف التدريب من حالات النموذج/المُحسِّن/المُجدوِل المحمَّلة هنا.
  • trial (optuna.Trial أو dict[str, Any]، اختياري) — التجربة أو قاموس المعاملات الفائقة للبحث في المعاملات الفائقة.
  • ignore_keys_for_eval (list[str]، اختياري) — قائمة بالمفاتيح في مخرجات النموذج الخاص بك (إذا كان قاموسًا) التي يجب تجاهلها عند جمع التوقعات للتقييم أثناء التدريب.

يعيد

~trainer_utils.TrainOutput

كائن يحتوي على عدد الخطوات العالمية، وخسارة التدريب، والمقاييس.

نقطة الدخول الرئيسية للتدريب.

save_model

< >

( output_dir: str | None = None_internal_call: bool = False )

سيحفظ النموذج، بحيث يمكنك إعادة تحميله باستخدام from_pretrained().

سيتم الحفظ من العملية الرئيسية فقط.

push_to_hub

< >

( commit_message: str | None = 'End of training'blocking: bool = Truetoken: str | None = Nonerevision: str | None = Noneprivate: bool | None = None**kwargs )

المعاملات

  • commit_message (str، اختياري، الافتراضي "End of training") — الرسالة التي تُرسل عند الدفع.
  • blocking (bool، اختياري، الافتراضي True) — ما إذا كان ينبغي للدالة أن تُرجع فقط بعد اكتمال git push.
  • token (str، اختياري، القيمة الافتراضية None) — رمز (Token) يملك صلاحية الكتابة لتجاوز الحجج الأصلية الخاصة بـ Trainer.
  • revision (str، اختياري) — مراجعة git التي سيتم الالتزام منها. الافتراضي هو رأس فرع “main”.
  • private (bool، اختياري) — ما إذا كان يجب جعل المستودع خاصًا عند إنشائه. القيمة الافتراضية هي args.hub_private_repo. لا يكون له أي تأثير إذا كان المستودع موجودًا مسبقًا.
  • kwargs (dict[str, Any]، اختياري) — معلمات إضافية تُمرَّر إلى ~Trainer.create_model_card.

ارفع self.model وself.processing_class إلى مركز النماذج 🤗 في المستودع self.args.hub_model_id.

RLOOConfig

فئة trl.RLOOConfig

< >

( output_dir: str | None = Noneper_device_train_batch_size: int = 8num_train_epochs: float = 3.0max_steps: int = -1learning_rate: float = 1e-06lr_scheduler_type: transformers.trainer_utils.SchedulerType | str = 'linear'lr_scheduler_kwargs: dict | str | None = Nonewarmup_steps: float = 0optim: transformers.training_args.OptimizerNames | str = 'adamw_torch_fused'optim_args: str | None = Noneweight_decay: float = 0.0adam_beta1: float = 0.9adam_beta2: float = 0.999adam_epsilon: float = 1e-08optim_target_modules: None | str | list[str] = Nonegradient_accumulation_steps: int = 1average_tokens_across_devices: bool = Truemax_grad_norm: float = 1.0label_smoothing_factor: float = 0.0bf16: bool | None = Nonefp16: bool = Falsebf16_full_eval: bool = Falsefp16_full_eval: bool = Falsetf32: bool | None = Noneactivation_checkpointing: bool | None = Noneactivation_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonegradient_checkpointing: bool = Truegradient_checkpointing_kwargs: dict[str, typing.Any] | str | None = Nonetorch_compile: bool = Falsetorch_compile_backend: str | None = Nonetorch_compile_mode: str | None = Noneuse_liger_kernel: bool = Falseliger_kernel_config: dict[str, bool] | None = Noneuse_cache: bool = Falseneftune_noise_alpha: float | None = Nonetorch_empty_cache_steps: int | None = Noneauto_find_batch_size: bool = Falselogging_strategy: transformers.trainer_utils.IntervalStrategy | str = 'steps'logging_steps: float = 10logging_first_step: bool = Falselog_on_each_node: bool = Truelogging_nan_inf_filter: bool = Trueinclude_num_input_tokens_seen: str | bool = 'no'log_level: str = 'passive'log_level_replica: str = 'warning'disable_tqdm: bool | None = Nonereport_to: None | str | list[str] = 'none'run_name: str | None = Noneproject: str = 'huggingface'trackio_space_id: str | None = Nonetrackio_bucket_id: str | None = Nonetrackio_static_space_id: typing.Union[str, NoneType, typing.Literal[False]] = Noneeval_strategy: transformers.trainer_utils.IntervalStrategy | str = 'no'eval_steps: float | None = Noneeval_delay: float = 0per_device_eval_batch_size: int = 8prediction_loss_only: bool = Falseeval_on_start: bool = Falseeval_do_concat_batches: bool = Trueeval_use_gather_object: bool = Falseeval_accumulation_steps: int | None = Noneinclude_for_metrics: list[str] = <factory>batch_eval_metrics: bool = Falsesave_only_model: bool = Falsesave_strategy: transformers.trainer_utils.SaveStrategy | str = 'steps'save_steps: float = 500save_on_each_node: bool = Falsesave_total_limit: int | None = Noneenable_jit_checkpoint: bool = Falsepush_to_hub: bool = Falsehub_token: str | None = Nonehub_private_repo: bool | None = Nonehub_model_id: str | None = Nonehub_strategy: transformers.trainer_utils.HubStrategy | str = 'every_save'hub_always_push: bool = Falsehub_revision: str | None = Noneload_best_model_at_end: bool = Falsemetric_for_best_model: str | None = Nonegreater_is_better: bool | None = Noneignore_data_skip: bool = Falserestore_callback_states_from_checkpoint: bool = Falsefull_determinism: bool = Falseseed: int = 42data_seed: int | None = Noneuse_cpu: bool = Falseaccelerator_config: dict | str | None = Noneparallelism_config: accelerate.parallelism_config.ParallelismConfig | None = Nonedataloader_drop_last: bool = Falsedataloader_num_workers: int = 0dataloader_pin_memory: bool = Truedataloader_persistent_workers: bool = Falsedataloader_prefetch_factor: int | None = Nonedataloader_multiprocessing_context: str | None = Nonedataloader_in_order: bool = Trueremove_unused_columns: bool | None = Falselabel_names: list[str] | None = Nonetrain_sampling_strategy: str = 'random'length_column_name: str = 'length'ddp_find_unused_parameters: bool | None = Noneddp_bucket_cap_mb: int | None = Noneddp_broadcast_buffers: bool | None = Noneddp_static_graph: bool | None = Noneddp_backend: str | None = Noneddp_timeout: int = 1800fsdp: str | None = Nonefsdp_config: dict[str, typing.Any] | str | None = Nonedeepspeed: dict | str | None = Nonedebug: str | list[transformers.debug_utils.DebugOption] = ''skip_memory_metrics: bool = Truedo_train: bool = Falsedo_eval: bool = Falsedo_predict: bool = Falseresume_from_checkpoint: str | None = Nonelocal_rank: int = -1model_init_kwargs: dict[str, typing.Any] | str | None = Nonetrust_remote_code: bool = Falserouter_aux_loss_coef: float | None = Nonedisable_dropout: bool = Falsenum_generations: int | None = 2num_generations_eval: int | None = Nonemax_completion_length: int | None = 512ds3_gather_for_generation: bool = Trueshuffle_dataset: bool | None = Truepad_to_multiple_of: int | str | None = 'auto'generation_batch_size: int | None = Nonesteps_per_generation: int | None = Nonetemperature: float = 1.0top_p: float = 1.0top_k: int = 0min_p: float | None = Nonegeneration_kwargs: dict | str | None = Nonechat_template_kwargs: dict | str | None = Nonerepetition_penalty: float = 1.0cache_implementation: str | None = Noneuse_vllm: bool = Falsevllm_mode: str = 'colocate'vllm_model_impl: str = 'vllm'vllm_enable_sleep_mode: bool = Falsevllm_structured_outputs_regex: str | None = Nonevllm_server_base_url: str | None = Nonevllm_server_host: str = '0.0.0.0'vllm_server_port: int = 8000vllm_server_timeout: float = 240.0vllm_group_port: int = 51216vllm_gpu_memory_utilization: float = 0.3vllm_max_model_length: int | None = Nonevllm_tensor_parallel_size: int = 1beta: float = 0.05num_iterations: int = 1epsilon: float = 0.2epsilon_high: float | None = Nonereward_weights: list[float] | None = Nonenormalize_advantages: bool = Falsereward_clip_range: tuple[float, float] | None = Nonemask_truncated_completions: bool = Falsesync_ref_model: bool = Falseref_model_mixup_alpha: float = 0.6ref_model_sync_steps: int = 512log_completions: bool = Falselog_multimodal: bool = Truenum_completions_to_print: int | None = Nonelog_unique_prompts: bool = Falseuse_transformers_continuous_batching: bool = Falsetransformers_continuous_batching_config: dict | str | None = Noneuse_transformers_paged: bool = False )

المعاملات التي تتحكم في النموذج ونموذج المرجع

  • model_init_kwargs (str أو dict[str, Any]، اختياري) — حجج الكلمات المفتاحية لـ from_pretrained، تُستخدم عندما يُقدَّم معامل model الخاص بـ RLOOTrainer كنص. كما يُستخدم قيمة revision عند تحميل فئات المعالجة.
  • trust_remote_code (bool, optional, defaults to False) — Whether to allow loading models and tokenizers that ship custom Python code from the Hub. Forwarded to from_pretrained and from_pretrained. Also applied to reward-model and reward-tokenizer loads.
  • router_aux_loss_coef (float, اختياري) — معامل خسارة التوازن على الأحمال المساعدة لنماذج مزيج الخبراء (MoE)، تُضاف إلى خسارة التدريب بهذا الوزن. عند عدم تعيينه، يُستخدم القيمة المُعلنة في إعدادات النموذج. عيّن 0.0 لتعطيله. يفشل عند استخدامه مع نموذج غير MoE.
  • disable_dropout (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم تعطيل إسقاط العينة (dropout) في النموذج. هذا مفيد للتدريب مع نموذج مرجعي، حيث يمنع النموذج من توليد احتمالات سجلات (logprobs) مختلفة لنفس المدخل.

المعاملات التي تتحكم في معالجة البيانات المسبقة

  • remove_unused_columns (bool، اختياري، القيمة الافتراضية False) — ما إذا كان يجب الإبقاء على العمود "prompt" فقط في مجموعة البيانات. إذا كنت تستخدم دالة مكافأة مخصصة تتطلب أي عمود غير "prompts" و"completions"، فيجب عليك إبقاء هذا الإعداد على False.
  • num_generations (int, اختياري, القيمة الافتراضية هي 2) — عدد الأجيال لكل موجه يُسحب. يجب أن يكون حجم الدفعة الفعّال (num_processes * per_device_batch_size
    • gradient_accumulation_steps) يجب أن يكون قابلاً للقسمة على هذا القيمة.
  • num_generations_eval (int, اختياري) — عدد الأجيال التي سيتم أخذ عينات منها أثناء التقييم. يتيح ذلك استخدام عدد أقل من الأجيال أثناء التقييم لتوفير الحسابات. إذا كان None، يتم استخدام قيمة num_generations.
  • max_completion_length (int أو None، اختياري، القيمة الافتراضية 512) — الحد الأقصى لطول الإكمال المولّد.
  • ds3_gather_for_generation (bool، اختياري، القيمة الافتراضية True) — تنطبق هذه الإعدادات على DeepSpeed ZeRO-3. إذا تم تفعيلها، يتم تجميع أوزان نموذج السياسة للتوليد، مما يحسّن سرعة التوليد. ومع ذلك، فإن تعطيل هذا الخيار يتيح تدريب نماذج تتجاوز سعة ذاكرة VRAM لبطاقة رسومات واحدة، على الرغم من أن ذلك يأتي على حساب بطء التوليد. لا يتوافق تعطيل هذا الخيار مع توليد vLLM.
  • shuffle_dataset (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم خلط مجموعة بيانات التدريب.
  • pad_to_multiple_of (int أو str، اختياري، القيمة الافتراضية "auto") — إذا تم ضبطه، فسيتم ملء معرّفات الأوامر (prompts ids) ومعرّفات الإكمالات (completions ids) إلى مضاعف لهذا القيمة. "auto" يملأ إلى مضاعف لـ 128 على Neuron (AWS Trainium)، حيث يُترجم مرة واحدة لكل شكل إدخال، ولا يملأ في أي مكان آخر.

المعاملات التي تتحكم في التوليد

  • generation_batch_size (int, اختياري) — حجم الدفعة المستخدمة للتوليد. إذا كانت None، فإن القيمة الافتراضية هي حجم دفعة التدريب الفعلية: per_device_train_batch_size * num_processes * steps_per_generation. بمعنى آخر، يتم معالجة دفعة توليد واحدة لكل خطوة تحسين. يتعارض مع steps_per_generation.
  • steps_per_generation (int، اختياري) — عدد الخطوات لكل عملية توليد. إذا كانت None، فإن القيمة الافتراضية هي gradient_accumulation_steps. يتعارض مع generation_batch_size.
  • temperature (float، اختياري، القيمة الافتراضية 1.0) — درجة الحرارة للعينات. كلما زادت درجة الحرارة، زادت عشوائية المكملات.
  • top_p (float، اختياري، القيمة الافتراضية 1.0) — قيمة عشرية تتحكم في الاحتمال التراكمي لأعلى الرموز المراد أخذها في الاعتبار. يجب أن تكون ضمن المجال (0، 1]. اضبطها على 1.0 لاعتبار جميع الرموز.
  • top_k (int، اختياري، القيمة الافتراضية 0) — عدد رموز المفردات ذات أعلى احتمالات التي يجب الاحتفاظ بها لتصفية top-k. إذا كانت القيمة 0، يتم تعطيل تصفية top-k وتُعتبر جميع الرموز.
  • min_p (float, اختياري) — أدنى احتمال للرمز، والذي يُضرب في احتمال الرمز الأكثر احتمالاً. يجب أن يكون قيمة بين 0.0 و1.0. القيم النموذجية تقع في نطاق 0.01-0.2.
  • generation_kwargs (dict[str, Any]، اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى GenerationConfig (في حال استخدام transformers) أو SamplingParams (في حال استخدام vLLM) عند أخذ عينات من المكملات. يمكن استخدام هذا لتخصيص سلوك التوليد بشكل أكبر، مثل تعيين suppress_tokens، num_beams، وما إلى ذلك. إذا احتوى على مفاتيح تتعارض مع معلمات التوليد الأخرى (مثل min_p، top_p، وما إلى ذلك)، فإنها ستُلغيها.
  • chat_template_kwargs (dict[str, Any]، اختياري) — معلمات إضافية بالكلمات المفتاحية تُمرَّر إلى دالة apply_chat_template عند توليد الإكمالات.
  • repetition_penalty (float، اختياري، القيمة الافتراضية 1.0) — قيمة عشرية تعاقب الرموز الجديدة بناءً على ما إذا كانت تظهر في الاستعلام والنص المولَّد حتى الآن. القيم > 1.0 تشجع النموذج على استخدام رموز جديدة، بينما القيم < 1.0 تشجع النموذج على تكرار الرموز.
  • cache_implementation (str، اختياري) — تنفيذ طريقة التخزين المؤقت لتسريع التوليد عندما يكون use_vllm مضبوطًا على False.

المعاملات التي تتحكم في تسريع التوليد المدعوم بواسطة vLLM

  • use_vllm (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استخدام vLLM لتوليد المكملات. إذا تم ضبطه على True، فسيستخدم المدرب vLLM للتوليد بدلاً من model.generate() الافتراضي. يتطلب تثبيت vllm.
  • vllm_mode (str, اختياري, الافتراضي هو "colocate") — الوضع المستخدم لتكامل vLLM عندما use_vllm يُضبط على True. يجب أن يكون أحد "server" أو "colocate".
    • "server": سيقوم المدرب بإرسال طلبات التوليد إلى خادم vLLM منفصل. تأكد من أن خادم vLLM قيد التشغيل (ابدأ باستخدام vllm serve).
    • "colocate": سيعمل vLLM في نفس العملية ويشارك وحدات معالجة الرسوميات المستخدمة في التدريب. هذا يتجنب الحاجة إلى خادم منفصل، لكنه قد يسبب تنافساً على الموارد مع التدريب.
  • vllm_model_impl (str، اختياري، القيمة الافتراضية "vllm") — تنفيذ النموذج المستخدم في vLLM. يجب أن يكون أحد "transformers" أو "vllm". "transformers": استخدم واجهة transformers الخلفية لتنفيذ النموذج. "vllm": استخدم مكتبة vllm لتنفيذ النموذج.
  • vllm_enable_sleep_mode (bool، اختياري، القيمة الافتراضية False) — تفعيل وضع السكون في vLLM لتفريغ الأوزان/الذاكرة المؤقتة أثناء خطوة المُحسِّن. يُبقي استخدام ذاكرة وحدة معالجة الرسوميات منخفضًا، لكن استيقاظ المحرّك يضيف زمن انتقال بين المضيف والوحدة.
  • vllm_structured_outputs_regex (str، اختياري) — نمط Regex للمخرجات المهيكلة في vLLM. إذا كان None (الافتراضي)، يتم تعطيل المخرجات المهيكلة.

المعاملات التي تتحكم في خادم vLLM (تُستخدم فقط عندما تكون `vllm_mode` هي `"server"`)

  • vllm_server_base_url (str, اختياري) — العنوان الأساسي لخادم vLLM (مثل "http://localhost:8000"). إذا تم تقديمه، يتم تجاهل vllm_server_host و vllm_server_port.
  • vllm_server_host (str، اختياري، القيمة الافتراضية "0.0.0.0") — عنوان مضيف خادم vLLM الذي سيتم الاتصال به. يتم تجاهله إذا تم تقديم vllm_server_base_url.
  • vllm_server_port (int، اختياري، القيمة الافتراضية 8000) — منفذ خادم vLLM الذي يجب الاتصال به. يتم تجاهله إذا تم تقديم vllm_server_base_url.
  • vllm_server_timeout (float, اختياري, القيمة الافتراضية 240.0) — المدة الإجمالية للوقت المحدد بالثواني للانتظار حتى يصبح خادم vLLM قيد التشغيل. إذا لم يكن الخادم قيد التشغيل بعد انتهاء المهلة، يتم رفع ConnectionError.
  • vllm_group_port (int، اختياري، القيمة الافتراضية 51216) — رقم المنفذ لمجموعة تحديث الأوزان. يُستخدم للتواصل مع خادم vLLM. ما لم يكن المنفذ مشغولاً، فلا حاجة لتغييره.

المعاملات التي تتحكم في تنفيذ vLLM المتزامن (تُستخدم فقط عندما يكون `vllm_mode` هو `"colocate"`)

  • vllm_gpu_memory_utilization (float, اختياري، القيمة الافتراضية 0.3) — التحكم في استهلاك ذاكرة GPU في vLLM. لا تنطبق هذه الإعدادات إلا عندما تكون قيمة vllm_mode هي "colocate". إذا كنت تستخدم vllm_mode="server"، فيجب تمرير هذا المعامل بشكل منفصل عند إطلاق خادم vLLM عبر علم --vllm_gpu_memory_utilization.
  • vllm_max_model_length (int, اختياري) — نافذة السياق الخاصة بـ vLLM. اضبطه على الأقل على طول الإدخال الأقصى في مجموعة البيانات مضافًا إليه max_completion_length؛ وإذا تم تجاهله، فسيتم استنتاجه من إعدادات النموذج.
  • vllm_tensor_parallel_size (int, اختياري، القيمة الافتراضية 1) — التحكم في حجم التوازي للتensors في vLLM. لا تنطبق هذه الإعدادات إلا عندما تكون vllm_mode مضبوطة على "colocate". إذا كنت تستخدم vllm_mode="server"، فيجب تمرير هذا المعامل بشكل منفصل عند إطلاق خادم vLLM عبر علم --vllm_tensor_parallel_size.

المعاملات التي تتحكم في التدريب

  • beta (float، اختياري، القيمة الافتراضية 0.05) — معامل KL. إذا كانت القيمة 0.0، فلن يتم تحميل النموذج المرجعي، مما يقلل من استهلاك الذاكرة ويحسّن سرعة التدريب.
  • num_iterations (int، اختياري، القيمة الافتراضية 1) — عدد التكرارات لكل دفعة (يُرمز له بـ μ في الخوارزمية).
  • epsilon (float، اختياري، القيمة الافتراضية 0.2) — قيمة إيبسلون للقص.
  • epsilon_high (float, اختياري) — قيمة إبسيلون الحد الأعلى للتقليم. إذا لم يتم تحديدها، فإن القيمة الافتراضية هي نفس قيمة الحد الأدنى المحددة في الحجة epsilon. يوصي الورق DAPO بقيمة 0.28.
  • reward_weights (list[float], اختياري) — أوزان لكل دالة مكافأة. يجب أن تتطابق مع عدد دوال المكافأة. إذا كانت None، فجميع المكافآت موزونة بالتساوي مع وزن 1.0.
  • normalize_advantages (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم تطبيع المزايا. يتم التطبيع لكل دفعة توليد بحيث تكون القيمة المتوسطة 0.0 والانحراف المعياري 1.0.
  • reward_clip_range (tuple[float, float], اختياري) — نطاق القصّ للمكافآت على شكل (الحد الأدنى، الحد الأقصى). إذا كان None، فلا يُطبَّق أيّ قصّ.
  • mask_truncated_completions (bool، اختياري، القيمة الافتراضية False) — عند التفعيل، تُستبعد الإكمالات المقطوعة من حساب الخسارة، مما يمنع معاقبتها بشكل غير صحيح وإدخال ضوضاء أثناء التدريب. وفقًا لورقة DAPO، يُعد هذا ممارسة جيدة لاستقرار التدريب.
  • sync_ref_model (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم مزامنة النموذج المرجعي مع النموذج النشط كل ref_model_sync_steps خطوات، باستخدام المعامل ref_model_mixup_alpha. تنبع هذه المزامنة من ورقة TR-DPO.
  • ref_model_mixup_alpha (float, اختياري، القيمة الافتراضية 0.6) — معامل α من ورقة TR-DPO، والذي يتحكم في المزج بين السياسة الحالية والسياسة المرجعية السابقة أثناء التحديثات. يتم تحديث السياسة المرجعية وفقًا للمعادلة: π_ref = α * π_θ + (1 - α) * π_ref_prev. لاستخدام هذا المعامل، يجب إعداد sync_ref_model=True.
  • ref_model_sync_steps (int، اختياري، القيمة الافتراضية 512) — معامل τ من ورقة TR-DPO، والذي يحدد مدى تكرار مزامنة السياسة الحالية مع السياسة المرجعية. لاستخدام هذا المعامل، يجب إعداد sync_ref_model=True.

المعاملات التي تتحكم في التسجيل

  • log_completions (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم تسجيل عينة من أزواج (الموجّه، الإكمال) كل logging_steps خطوات. إذا كان rich مثبّتًا، فسيتم طباعة العينة. إذا كان تسجيل wandb و/أو trackio مفعّلًا، فسيتم تسجيلها في wandb و/أو trackio.
  • log_multimodal (bool، اختياري، القيمة الافتراضية True) — ما إذا كان سيتم تسجيل المحتوى متعدد الوسائط (الصور، مقاطع الفيديو، إلخ) مع الإكمالات. عطّل هذا الخيار لتقليل حجم السجلات عند استخدام بيانات متعددة الوسائط عالية الدقة.
  • num_completions_to_print (int, اختياري) — عدد الإكمالات التي سيتم طباعتها باستخدام rich. إذا كانت None، فسيتم تسجيل جميع الإكمالات.
  • log_unique_prompts (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم تسجيل الأوامر الفريدة. إذا كانت True، يتم تسجيل الأوامر الفريدة فقط. إذا كانت False، يتم تسجيل جميع الأوامر.

المعاملات التي تتحكم في تسريع التوليد المدعوم من transformers عبر الدفع المستمر

  • use_transformers_continuous_batching (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم استخدام محرك الدفعات المستمر (continuous batching) الخاص بـ transformers لتوليد الإكمالات. يتطلب transformers>=5.8.0.
  • transformers_continuous_batching_config (dict، اختياري) — حجج الكلمات المفتاحية لـContinuousBatchingConfig.

معاملات غير مستخدمة

  • use_transformers_paged —

    تم إيقاف استخدام المعامل use_transformers_paged وسيتم حذفه في الإصدار v2.0.0. استخدم use_transformers_continuous_batching بدلاً منه.

فئة التهيئة الخاصة بـ RLOOTrainer.

تتضمن هذه الفئة فقط المعلمات الخاصة بتدريب RLOO. للحصول على قائمة كاملة بحجج التدريب، يرجى الرجوع إلى توثيق TrainingArguments. لاحظ أن القيم الافتراضية في هذه الفئة قد تختلف عن تلك الموجودة في TrainingArguments.

باستخدام HfArgumentParser يمكننا تحويل هذه الفئة إلى حُجج argparse يمكن تحديدها على سطر الأوامر.

تتميز هذه المعلمات بقيم افتراضية مختلفة عن TrainingArguments:

  • logging_steps: القيمة الافتراضية هي 10 بدلاً من 500.
  • gradient_checkpointing: القيمة الافتراضية هي True بدلاً من False.
  • bf16: القيمة الافتراضية هي True إذا لم يتم تعيين fp16، بدلاً من False.
  • learning_rate: القيمة الافتراضية هي 1e-6 بدلاً من 5e-5.

المراجع

  1. ورقة RLOO
  2. العودة إلى الأساسيات: إعادة النظر في التحسين بنمط REINFORCE للتعلم من ملاحظات البشر في نماذج اللغة الكبيرة
  3. ورقة بحثية - REINFORCE++: نهج بسيط وفعّال لمواءمة نماذج اللغة الكبيرة
  4. منشور مدونة - إعادة التعزيز إلى RLHF
  5. منشور مدونة - فكّ شفرة RLHF وأنواعه: التقدم والرؤى الهندسية العملية
  6. يوتيوب - RLOO: تحسين فعّال من حيث التكلفة للتعلم من تغذية راجعة البشر في نماذج اللغة الكبيرة

دليل الانتقال من التنفيذ القديم (0.21 وما دون)

مع إصدار الإصدار 0.22.0، قمنا بإعادة تصميم RLOOTrainer ليكون أكثر توافقاً مع مدرّبي الإنترنت الآخرين في المكتبة، مثل GRPOTrainer. تقدّم هذه النسخة الجديدة عدة تغييرات في معاملات التهيئة والبنية العامة للمدرّب. فيما يلي ملخص لأبرز التغييرات الخاصة بـ RLOOConfig:

TRL ≤ 0.21.xTRL ≥ 0.22.0
rloo_kأُعيدت تسميتها إلى num_generations
cliprangeأُعيدت تسميتها إلى epsilon
kl_coefأُعيدت تسميتها إلى beta
exp_nameأُعيدت تسميتها إلى run_name. استخدم run_name = f"{exp_name}__{seed}__{int(time.time())}" لتكرار السلوك القديم
normalize_rewardأُعيدت تسميتها إلى normalize_advantages. ملاحظة: كانت هذه الدالة تطبّع المزايا دائمًا (على الرغم من الاسم القديم)
num_ppo_epochsأُعيدت تسميتها إلى num_iterations (الافتراضي: 1)
token_level_klتمت إزالته – يتم الآن حساب KL على مستوى التسلسل فقط
dataset_num_procأُزيل – لم يكن مستخدماً
num_mini_batchesأُعيدت تسميتها إلى steps_per_generation
total_episodesاستخدم max_steps=total_episodes / gradient_accumulation_steps بدلاً من ذلك
local_rollout_forward_batch_sizeتمت إزالته – يتم الآن تعيينه تلقائيًا إلى per_device_train_batch_size (أو per_device_eval_batch_size أثناء التقييم)
num_sample_generationsتمت إزالته – استخدم logging_steps للتحكم في تكرار تسجيل عمليات التوليد
response_lengthأُعيدت تسميتها إلى max_completion_length (الافتراضي: 512)
stop_tokenتمت إزالته
stop_token_idتمت إزالته – استخدم processing_class.eos_token_id بدلاً منه
missing_eos_penaltyأُزيل – استنسخ باستخدام دالة مكافأة مخصصة تتحقق مما إذا كان eos_token_id ضمن completion_ids

فيما يلي ملخص لأهم التغييرات الخاصة بـ RLOOTrainer:

TRL ≤ 0.21.xTRL ≥ 0.22.0
configأُعيدت تسميتها إلى args
reward_modelأُعيدت تسميتها إلى reward_funcs، والتي تدعم الآن كلا من نماذج المكافآت ودوال المكافآت المخصصة
policyأُعيدت تسميتها إلى model
ref_policyتمت إزالته – يتم الآن إنشاء النموذج المرجعي تلقائيًا من model
data_collatorتمت إزالته
Update on GitHub