مدرب KTO

نظرة عامة

يدعم TRL مُدرّب التحسين وفق نظرية الاحتمالات (KTO) لتدريب نماذج اللغة، كما هو موصوف في ورقة KTO: Model Alignment as Prospect Theoretic Optimization التي كتبها Kawin Ethayarajh، Winnie Xu، Niklas Muennighoff، Dan Jurafsky، Douwe Kiela.

المستخلص من الورقة البحثية هو كالتالي:

تخبرنا نظرية المنظور التي طوّرها كانيمان وتفرسكي أن البشر يدركون المتغيرات العشوائية بطريقة منحازة لكنها محددة بوضوح؛ فعلى سبيل المثال، يُعرف البشر بانحيازهم ضد الخسائر. نُظهر أن الأهداف المستخدمة لمواءمة نماذج اللغة الكبيرة مع ملاحظات البشر تتضمن ضمنياً العديد من هذه الانحيازات — ويمكن نسبُ نجاح هذه الأهداف (مثل DPO) على تقليل إنتروبيا التقاطع جزئياً إلى كونها دوال خسارة واعية بالبشر (HALOs). ومع ذلك، فإن دوال المنفعة التي تُسببها هذه الطرق إلى البشر لا تزال تختلف عن تلك الموجودة في أدبيات نظرية المنظور. باستخدام نموذج كانيمان-تفرسكي لمنفعة البشر، نقترح HALO يعظّم مباشرةً منفعة المخرجات بدلاً من تعظيم الاحتمال اللوغاريتمي للتفضيلات، كما تفعل الطرق الحالية. نسمّي هذا النهج تحسين كانيمان-تفرسكي (KTO)، وهو يطابق أداء الطرق القائمة على التفضيلات أو يتفوق عليه على نطاقات تتراوح من 1B إلى 30B. والأهم من ذلك، أن KTO لا يحتاج إلى تفضيلات — بل يكفي إشارة ثنائية حول ما إذا كان المخرج مرغوباً أم غير مرغوب لإدخال معين. وهذا يجعل استخدامه أسهل بكثير في العالم الحقيقي، حيث تكون بيانات التفضيلات شحيكة ومكلفة.

يمكن العثور على الكود الرسمي في ContextualAI/HALOs.

تمت مساهمة طريقة ما بعد التدريب هذه من قِبل Kashif Rasul وYounes Belkada وLewis Tunstall وPablo Vicente، ثم أعيدت هيكلتها لاحقاً بواسطة Albert Villanova del Moral.

البدء السريع

يُظهر هذا المثال كيفية تدريب نموذج باستخدام طريقة KTO. نستخدم نموذج Qwen 0.5B كنموذج أساسي. نستخدم بيانات التفضيل من KTO Mix 14k. يمكنك عرض البيانات في مجموعة البيانات هنا:

فيما يلي السكربت لتدريب النموذج:

# train_kto.py
from datasets import load_dataset
from trl import KTOConfig, KTOTrainer
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen2-0.5B-Instruct")
train_dataset = load_dataset("trl-lib/kto-mix-14k", split="train")

training_args = KTOConfig(output_dir="Qwen2-0.5B-KTO")
trainer = KTOTrainer(model=model, args=training_args, processing_class=tokenizer, train_dataset=train_dataset)
trainer.train()

نفّذ السكربت باستخدام الأمر التالي:

torchrun --nproc_per_node 8 train_kto.py

عند توزيع التدريب على 8 وحدات معالجة رسومية من نوع H100، يستغرق التدريب حوالي 30 دقيقة. يمكنك التحقق من تقدم التدريب عن طريق فحص مخطط المكافأة. يشير الاتجاه التصاعدي في هامش المكافأة إلى أن النموذج يتحسن ويولّد استجابات أفضل مع مرور الوقت.

لرؤية أداء النموذج المدرَّب، يمكنك استخدام Transformers Chat CLI.

$ transformers chat trl-lib/Qwen2-0.5B-KTO
<quentin_gallouedec>:
What is the best programming language?

<trl-lib/Qwen2-0.5B-KTO>:
The best programming language can vary depending on individual preferences, industry-specific requirements, technical skills, and familiarity with the specific use case or task. Here are some widely-used programming languages that have been noted as popular and widely used:

Here are some other factors to consider when choosing a programming language for a project:

 1 JavaScript: JavaScript is at the heart of the web and can be used for building web applications, APIs, and interactive front-end applications like frameworks like React and Angular. It's similar to C, C++, and F# in syntax structure and is accessible and easy to learn, making it a popular choice for beginners and professionals alike.
 2 Java: Known for its object-oriented programming (OOP) and support for Java 8 and .NET, Java is used for developing enterprise-level software applications, high-performance games, as well as mobile apps, game development, and desktop applications.
 3 C++: Known for its flexibility and scalability, C++ offers comprehensive object-oriented programming and is a popular choice for high-performance computing and other technical fields. It's a powerful platform for building real-world applications and games at scale.
 4 Python: Developed by Guido van Rossum in 1991, Python is a high-level, interpreted, and dynamically typed language known for its simplicity, readability, and versatility.

نوع وتنسيق مجموعة البيانات المتوقع

يتطلب KTO مجموعة بيانات تفضيلات غير مُزاوجة. أو يمكنك تقديم مجموعة بيانات تفضيلات مُزاوجة (المعروفة ببساطة باسم مجموعة بيانات التفضيلات). في هذه الحالة، سيقوم المدرب تلقائيًا بتحويلها إلى صيغة غير مُزاوجة عن طريق فصل الاستجابات المختارة والمستبعدة، مع إسناد label = True إلى الإكمالات المختارة وlabel = False إلى المستبعدة.

يتوافق KTOTrainer مع كلا من صيغ مجموعات البيانات المعيارية والمحادثة. عند تزويده بمجموعة بيانات محادثة، سيطبّق المدرب قالب المحادثة على مجموعة البيانات تلقائيًا.

# Standard format
unpaired_preference_example = {"prompt": "The sky is", "completion": " blue.", "label": True}

# Conversational format
unpaired_preference_example = {"prompt": [{"role": "user", "content": "What color is the sky?"}],
                               "completion": [{"role": "assistant", "content": "It is blue."}],
                               "label": True}

نظريًا، يجب أن يحتوي مجموعة البيانات على إكمال واحد على الأقل مقبول وإكمال واحد مرفوض. ومع ذلك، نجح بعض المستخدمين في تشغيل KTO باستخدام بيانات مقبولة فقط أو بيانات مرفوضة فقط. عند استخدام بيانات مرفوضة فقط، يُنصح بتبني معدل تعلم محافظ.

النظر بعمق أكبر في طريقة KTO

تُعدّ تحسين كانيمان-تفرسكي (KTO) طريقة تدريب مصممة لمواءمة نموذج لغوي باستخدام إشارة ثنائية فقط تشير إلى ما إذا كان المخرج مُفضَّلًا أو غير مُفضَّل لإدخال معيّن، بدلاً من أزواج من الإكمالات المفضّلة وغير المفضّلة. مستندةً إلى نظرية المنظور لكاهنيمان وتفرسكي، تُعرّف دالة خسارة واعية بالبشر (HALO) التي تعظّم مباشرةً فائدة المخرجات المولّدة، مع وزن الأمثلة المفضّلة وغير المفضّلة بشكل غير متماثل لتعكس ميول البشر لتجنّب الخسائر.

تفصّل هذه القسم كيفية عمل KTO عملياً، مع تغطية الخطوات الرئيسية: المعالجة المسبقة وحساب الدالة الخاسرة.

المعالجة المسبقة والتجزئة

أثناء التدريب، يُتوقع أن يحتوي كل مثال على موجه، وcompletion، وقيمة منطقية label تشير إلى ما إذا كان الإكمال مرغوبًا (True) أو غير مرغوب (False). لمزيد من التفاصيل حول الصيغ المتوقعة، راجع صيغ مجموعات البيانات. يقوم KTOTrainer بتجزئة كل مدخل باستخدام مجزئة النموذج.

حساب الخسارة

يُقدَّر حد تباعد كولباك-ليبلر المستخدم في دالة خسارة KTO عن طريق إقران كل موجه (prompt) مع إكمال غير متطابق مستخرج من مكان آخر في الدفعة (batch). ولأسباب تتعلق بذلك، تتطلب أنواع الخسارة التي تُقدّر حد KL (جميعها باستثناء apo_zero_unpaired) حجم دفعة تدريب لكل جهاز أكبر من 1 واستراتيجية أخذ عينات تسلسلية، بحيث تكون الأزواج غير المتطابقة مستقرة عبر الدفعة.

الدالة الخاسرة المستخدمة في KTO (المعادلة 7 من الورقة) ) معرّفة على النحو التالي: $$\mathcal{L}_{\mathrm{KTO}}(\theta) = \mathbb{E}_{(x,y)}\!\left[ w(y)\Big(1 - v(x, y)\Big) \right]$$

حيث القيمة $v(x, y)$ هي $$v(x, y) = \begin{cases} \sigma\!\left(\beta\big(\log\frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)} - \mathrm{KL}\big)\right) & \text{if } y \text{ is desirable} \\ \sigma\!\left(\beta\big(\mathrm{KL} - \log\frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}\big)\right) & \text{if } y \text{ is undesirable} \end{cases}$$

هنا $x$ هو الأمر التوجيهي، $y$ هو الإكمال، $\pi_{\theta}$ هو نموذج السياسة قيد التدريب، $\pi_{\mathrm{ref}}$ هو النموذج المرجعي، $\sigma$ هو دالة سيجمويد، $\beta > 0$ يتحكم في الانحراف عن النموذج المرجعي، و $\mathrm{KL}$ هو حد تباعد KL المقدر. الوزن $w(y)$ هو desirable_weight لإكمالات مرغوبة و undesirable_weight لإكمالات غير مرغوبة، ويُستخدم لمعالجة عدم التوازن بين عدد الأمثلة المرغوبة وغير المرغوبة.

أنواع الدالة

المقاييس المسجّلة

أثناء التدريب والتقييم، نسجّل المقاييس التالية:

• global_step: إجمالي عدد خطوات المُحسِّن التي تم اتخاذها حتى الآن.
• epoch: رقم الحقبة الحالية، بناءً على تكرار مجموعة البيانات.
• num_tokens: إجمالي عدد الرموز التي تمت معالجتها حتى الآن.
• loss: متوسط خسارة KTO خلال فترة التسجيل الحالية.
• entropy: متوسط إنتروبيا توزيع الرموز المتوقعة من النموذج على الرموز غير المقنّعة.
• aux_loss: خسارة التوازن على الأحمال المساعدة لنموذج مزيج الخبراء، قبل أن تُضرب في router_aux_loss_coef وتُضاف إلى الخسارة. تُسجَّل فقط عندما يكون النموذج من نوع MoE وrouter_aux_loss_coef غير صفري.
• kl: متوسط تباعد كوهلن-ليبلر (KL) المقدر بين نموذج السياسة ونموذج المرجع، ويُستخدم كنقطة مرجعية في دالة خسارة KTO.
• learning_rate: معدل التعلم الحالي، والذي قد يتغير ديناميكيًا إذا تم استخدام مُجدوِل.
• grad_norm: معيار L2 للتدرجات، يُحسب قبل اقتطاع التدرجات.
• logits/chosen: متوسط قيم اللوغيت التي يخصصها النموذج للرموز في الإكمال المختار (المُفضَّل).
• logits/rejected: متوسط قيم اللوغيت التي يخصصها النموذج للرموز في الإكمال المرفوض (غير المرغوب فيه).
• logps/chosen: متوسط الاحتمال اللوغاريتمي الذي يسنده النموذج للرموز في الإكمال المختار (المُفضَّل).
• logps/rejected: متوسط الاحتمال اللوغاريتمي الذي يسنده النموذج للرموز في الإكمال المرفوض (غير المرغوب فيه).
• rewards/chosen: متوسط المكافأة الضمنية المحسوبة للإكمال المختار (المطلوب)، ويُحسب على النحو التالي $\beta \log \frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$.
• rewards/rejected: متوسط المكافأة الضمنية المحسوبة للإكمال المرفوض (غير المرغوب فيه)، حيث يُحسب على النحو التالي $\beta \log \frac{\pi_{\theta}(y\mid x)}{\pi_{\mathrm{ref}}(y\mid x)}$.
• rewards/margins: متوسط هامش المكافأة الضمني بين الإكمالات المختارة والمرفوضة.

التخصيص

التوافق والقيود

بعض تركيبات المعاملات مقيدة عمداً في تطبيق KTOTrainer الحالي:

• لا يتم دعم محولات PEFT المستهدفة lm_head (استخدم modules_to_save=["lm_head"] بدلاً من ذلك).
• sync_ref_model=True غير مدعوم عند التدريب باستخدام نماذج PEFT التي لا تحتفظ بنموذج مرجعي مستقل ref_model.
• لا يمكن الجمع بين sync_ref_model=True وprecompute_ref_log_probs=True.
• precompute_ref_log_probs=True غير مدعوم مع IterableDataset (سواء للتدريب أو التقييم) أو مع مجموعات بيانات الرؤية.
• تتطلب أنواع الخسارة التي تُقدّر حد تباعد كولباك-ليبلر (جميعها باستثناء "apo_zero_unpaired") استخدام train_sampling_strategy="sequential" وحجم دفعة تدريب لكل جهاز أكبر من 1.

تهيئة النموذج

يمكنك تمرير معاملات from_pretrained() مباشرة إلى KTOConfig. على سبيل المثال، إذا كنت ترغب في تحميل نموذج بدقة مختلفة، على غرار

model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2-0.5B-Instruct", dtype=torch.bfloat16)

يمكنك القيام بذلك عن طريق تمرير الحجة model_init_kwargs={"dtype": torch.bfloat16} إلى KTOConfig.

from trl import KTOConfig

training_args = KTOConfig(
    model_init_kwargs={"dtype": torch.bfloat16},
)

لاحظ أن جميع معاملات الكلمات المفتاحية لـ from_pretrained() مدعومة.

تدريب المحوِّلات باستخدام PEFT

ندعم التكامل الوثيق مع مكتبة 🤗 PEFT، مما يتيح لأي مستخدم تدريب المحوِّلات (adapters) ومشاركتها على Hub بسهولة، بدلاً من تدريب النموذج بأكمله.

from datasets import load_dataset
from trl import KTOTrainer
from peft import LoraConfig

dataset = load_dataset("trl-lib/kto-mix-14k", split="train")

trainer = KTOTrainer(
    "Qwen/Qwen2-0.5B-Instruct",
    train_dataset=dataset,
    peft_config=LoraConfig(),
)

trainer.train()

يمكنك أيضًا مواصلة تدريب PeftModel. لذلك، قم أولًا بتحميل PeftModel خارج KTOTrainer ثم مرره مباشرةً إلى المدرب دون تمرير معامل peft_config.

عند تدريب المُكيِّفات (adapters)، تستخدم عادةً معدل تعلّم أعلى من الضبط الدقيق الكامل، لأن المعلمات الجديدة فقط هي التي يتم تعلّمها.

استدعاء الأدوات مع KTO

يدعم KTOTrainer بشكل كامل ضبط نماذج تحتوي على قدرات tool calling. في هذه الحالة، يجب أن يتضمن كل مثال في مجموعة البيانات:

• رسائل المحادثة (الموجّه والاستكمال)، بما في ذلك أي استدعاءات للأدوات (tool_calls) وردود الأدوات (رسائل الدور tool)
• قائمة الأدوات المتاحة في عمود tools، والتي تُقدَّم عادةً كمخططات JSON

لمزيد من التفاصيل حول بنية مجموعة البيانات المتوقعة، راجع قسم Dataset Format — Tool Calling.

تدريب نماذج اللغة البصرية

يدعم KTOTrainer بشكل كامل تدريب نماذج الرؤية واللغة (VLMs). لتدريب نموذج VLM، قدّم مجموعة بيانات تحتوي إما على عمود image (صورة واحدة لكل عينة) أو عمود images (قائمة من الصور لكل عينة). لمزيد من المعلومات حول بنية مجموعة البيانات المتوقعة، راجع قسم Dataset Format — Vision Dataset.

from trl import KTOConfig, KTOTrainer
from datasets import load_dataset

trainer = KTOTrainer(
    model="Qwen/Qwen2.5-VL-3B-Instruct",
    args=KTOConfig(max_length=None),
    train_dataset=load_dataset("trl-internal-testing/zen-image", "conversational_unpaired_preference", split="train"),
)
trainer.train()

بالنسبة لنماذج الرؤية-اللغة (VLMs)، قد يؤدي التقصير إلى إزالة رموز الصور، مما يسبب أخطاء أثناء التدريب. لتجنب ذلك، اضبط max_length=None في KTOConfig. هذا يتيح للنموذج معالجة طول التسلسل الكامل دون تقصير رموز الصور.

تم النسخ

KTOConfig(max_length=None, ...)

استخدم max_length فقط بعد أن تتأكد من أن القصّ لن يُزيل رموز الصور في كامل مجموعة البيانات.

مثال على السكربت

نوفر سكربتًا مثالًا لتدريب نموذج باستخدام طريقة KTO. السكربت متاح في trl/scripts/kto.py

لاختبار سكريبت KTO مع نموذج Qwen2 0.5B على مجموعة بيانات UltraFeedback، نفّذ الأمر التالي:

torchrun --nproc_per_node 8 trl/scripts/kto.py \
    --model_name_or_path Qwen/Qwen2-0.5B-Instruct \
    --dataset_name trl-lib/kto-mix-14k \
    --num_train_epochs 1 \
    --output_dir Qwen2-0.5B-KTO

نصائح للاستخدام

لنماذج مزيج الخبراء: تفعيل الخسارة المساعدة

تكون نماذج MOE الأكثر كفاءة عندما يكون الحمل موزّعاً بالتساوي تقريباً بين الخبراء.
ولضمان تدريب نماذج MOE بشكل مشابه أثناء ضبط التفضيلات، من المفيد إضافة الخسارة المساعدة من موازن الحمل إلى الخسارة النهائية.

تُفعَّل هذه الخيارات من خلال تعيين output_router_logits=True في إعدادات النموذج (مثل MixtralConfig).
ولتحديد مقدار مساهمة الخسارة المساعدة في الخسارة الإجمالية، استخدم معامل الضبط router_aux_loss_coef=... (الافتراضي: 0.001) في إعدادات النموذج.

توصيات حجم الدفعة

استخدم حجم دفعة لكل خطوة لا يقل عن 4، وحجم دفعة فعّال يتراوح بين 16 و128. حتى لو كان حجم الدفعة الفعّال لديك كبيراً، فإن حجم الدفعة لكل خطوة الضعيف سيؤدي إلى تقدير ضعيف لـ KL في KTO.

توصيات معدل التعلم

لكل اختيار لـ beta حد أقصى لمعدل التعلم يمكن تحمّله قبل أن تتدهور أداء التعلم. بالنسبة للإعداد الافتراضي beta = 0.1، يجب ألا يتجاوز معدل التعلم عادةً 1e-6 لمعظم النماذج. ومع انخفاض قيمة beta، ينبغي خفض معدل التعلم بشكل متناسب. بشكل عام، نوصي بشدة بإبقاء معدل التعلم بين 5e-7 و5e-6. حتى مع مجموعات البيانات الصغيرة، نوصي بعدم استخدام معدل تعلم خارج هذا النطاق. وبدلاً من ذلك، اختر عددًا أكبر من الفترات (epochs) لتحقيق نتائج أفضل.

بيانات غير متوازنة

المتغيران desirable_weight و undesirable_weight في KTOConfig يشيران إلى الأوزان المخصصة لخسائر الأمثلة المرغوبة/الإيجابية وغير المرغوبة/السلبية. افتراضيًا، كلاهما يساوي 1. ومع ذلك، إذا كان لديك عدد أكبر من أحد النوعين، فيجب عليك زيادة وزن النوع الأقل شيوعًا بحيث يكون نسبة (desirable_weight $\times$ عدد الإيجابيات) إلى (undesirable_weight $\times$ عدد السلبيات) ضمن النطاق من 1:1 إلى 4:3.

KTOTrainer

>>> from trl import KTOTrainer
>>> from datasets import load_dataset

>>> dataset = load_dataset("trl-lib/kto-mix-14k", split="train")

>>> trainer = KTOTrainer(
...     model="Qwen/Qwen2.5-0.5B-Instruct",
...     train_dataset=dataset,
... )
>>> trainer.train()

KTOConfig