TRL - تعلم التعزيز للحوّلات

TRL هي مكتبة متكاملة نقدم من خلالها مجموعة من الأدوات لتدريب نماذج اللغة التحويلية باستخدام طرق مثل الضبط الدقيق الإشرافي (SFT)، وتحسين السياسة النسبي الجماعي (GRPO)، وتحسين التفضيل المباشر (DPO)، ونمذجة المكافآت، وغيرها. تتكامل المكتبة مع 🤗 transformers.

🎉 ما الجديد

🔥 Mistral Large 4: قم بضبط Mistral Large 4 باستخدام SFTTrainer على عقدة واحدة مكوّنة من 8 وحدات B300، وذلك فوق أوزانها بصيغة FP8. راجع مثال LoRA.

🚀 التدريب على معالجات AMD الرسومية: تعمل مدرِّبات TRL الآن على AMD Instinct GPUs عبر إصدار ROCm من PyTorch.

🔥 Beam: اضبط Beam باستخدام SFTTrainer على عقدة واحدة تضم 8 من B300. راجع مثال LoRA.

🔥 Muse Spark Open: اضبط Muse Spark Open باستخدام SFTTrainer، مقسّمًا عبر وحدات معالجة الرسوميات لديك عند التحميل. راجع مثال LoRA على 8 عقد.

🚀 التدريب على AWS Trainium: تعمل مدرِّبات TRL الآن على AWS Trainium من خلال TorchNeuron، وهو واجهة Neuron الأصلية في PyTorch.

تصنيف

فيما يلي نظرة عامة على مدرّبي TRL، منظمة حسب درجة النضج ونوع الطريقة.

الطرق عبر الإنترنت

نمذجة المكافآت

RewardTrainer

الطرق غير المتصلة

التقطير المعرفي

DistillationTrainer

تجريبي

الطرق عبر الإنترنت

الطرق غير المتصلة

التقطير المعرفي

يمكنك أيضًا استكشاف النماذج ومجموعات البيانات والعروض التوضيحية المتعلقة بـ TRL في منظمة TRL على Hugging Face.

تعلّم

تعلّم ما بعد التدريب باستخدام TRL ومكتبات أخرى في 🤗 smol course.

المحتويات

تنظم التوثيقات في الأقسام التالية:

البدء: دليل التثبيت والبدء السريع.
أدلة مفاهيمية: صيغ مجموعات البيانات، الأسئلة الشائعة حول التدريب، وفهم السجلات.
أدلة الاستخدام: تقليل استهلاك الذاكرة، تسريع التدريب، توزيع التدريب، وما إلى ذلك.
التكاملات: DeepSpeed وPEFT وغيرها
أمثلة: نظرة عامة على الأمثلة، شروحات المجتمع، وما إلى ذلك.
واجهة برمجة التطبيقات: المدربين والأدوات المساعدة وما إلى ذلك.