TRL documentation
التدريب على وحدات معالجة الرسوميات من AMD
التدريب على وحدات معالجة الرسوميات من AMD
تعمل مدرِّبات TRL على وحدات معالجة الرسوميات AMD Instinct دون أي تغييرات في الكود. إذ يكشف إصدار ROCm من PyTorch عنها كأجهزة cuda، لذا تعمل الأوامر الواردة في بقية التوثيق كما هي.
التثبيت
قم بتثبيت نسخة PyTorch الخاصة بـ ROCm، ثم ثبّت TRL في نفس البيئة:
pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2 pip install trl
أنوية الانتباه
لا تتوفر نسخة ROCm من نواة FlashAttention المستخدمة في أمثلة هذه الوثائق (kernels-community/flash-attn2، flash-attn3 وflash-attn4). على وحدات معالجة الرسوميات من AMD، استخدم kernels-community/aiter-flash-attn، الذي يتم تنزيله من Hub بواسطة مكتبة kernels (pip install trl[kernels]):
from trl import SFTConfig
training_args = SFTConfig(model_init_kwargs={"attn_implementation": "kernels-community/aiter-flash-attn@v2"})لا يحتوي النواة على أي حدّ ناعم (soft-capping) لقيم الانتباه (attention-logit)، ويتجاهل Transformers معامل attn_logit_softcapping دون إصدار تحذير، لذا تُدرَّب النماذج التي تستخدمه، مثل Gemma 2، بانتباه غير محدود.
التوليد باستخدام vLLM
يتطلب use_vllm=True في GRPO و RLOO بناء ROCm الخاص بـ vLLM، راجد دليل تثبيت vLLM.