TRL documentation

التدريب على وحدات معالجة الرسوميات من AMD

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

التدريب على وحدات معالجة الرسوميات من AMD

تعمل مدرِّبات TRL على وحدات معالجة الرسوميات AMD Instinct دون أي تغييرات في الكود. إذ يكشف إصدار ROCm من PyTorch عنها كأجهزة cuda، لذا تعمل الأوامر الواردة في بقية التوثيق كما هي.

التثبيت

قم بتثبيت نسخة PyTorch الخاصة بـ ROCm، ثم ثبّت TRL في نفس البيئة:

pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2
pip install trl

أنوية الانتباه

لا تتوفر نسخة ROCm من نواة FlashAttention المستخدمة في أمثلة هذه الوثائق (kernels-community/flash-attn2، flash-attn3 وflash-attn4). على وحدات معالجة الرسوميات من AMD، استخدم kernels-community/aiter-flash-attn، الذي يتم تنزيله من Hub بواسطة مكتبة kernels (pip install trl[kernels]):

from trl import SFTConfig

training_args = SFTConfig(model_init_kwargs={"attn_implementation": "kernels-community/aiter-flash-attn@v2"})

لا يحتوي النواة على أي حدّ ناعم (soft-capping) لقيم الانتباه (attention-logit)، ويتجاهل Transformers معامل attn_logit_softcapping دون إصدار تحذير، لذا تُدرَّب النماذج التي تستخدمه، مثل Gemma 2، بانتباه غير محدود.

التوليد باستخدام vLLM

يتطلب use_vllm=True في GRPO و RLOO بناء ROCm الخاص بـ vLLM، راجد دليل تثبيت vLLM.

Update on GitHub