TRL documentation

تكامل Kernels Hub واستخدامه

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

تكامل Kernels Hub واستخدامه

kernel-builder logo

يتيح لك مكتبة kernels تحميل نوى الحساب المُحسَّنة مباشرةً من Hub.
يمكنك العثور على kernels في منظمات مخصصة أو عن طريق البحث عن وسم kernel داخل Hub.

النوى هي قطع أكوام مُحسّنة تُسهم في تطوير النماذج وتدريبها والاستدلال عليها. هنا، سنركّز على تكاملها مع TRL، لكن اطّلع على الموارد المذكورة أعلاه لمعرفة المزيد عنها.

التثبيت

للاستخدام النواة مع TRL، ستحتاج إلى تثبيت المكتبة في بيئة Python الخاصة بك:

pip install kernels

استخدام الأنوية من المستودع في TRL

يمكن أن تحل النوى (Kernels) محل تنفيذات الانتباه (attention) مباشرةً، مما يلغي الحاجة إلى تجميع (compile) واجهات خلفية الانتباه يدوياً مثل Flash Attention، ويعزز سرعة التدريب بمجرد جلب نواة الانتباه المعنية من Hub.

يمكنك تحديد نواة عند تحميل نموذج:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2"  # other options: kernels-community/vllm-flash-attn3, kernels-community/paged-attention
)

أو عند تشغيل سكربت تدريب TRL:

python sft.py ... --attn_implementation kernels-community/flash-attn2

أو باستخدام واجهة سطر الأوامر الخاصة بـ TRL:

trl sft ... --attn_implementation kernels-community/flash-attn2

الآن يمكنك الاستفادة من واجهات خلفية انتباه أسرع عبر نواة مُحسَّنة مسبقًا لمُعدّلات العتاد لديك من Hub، مما يُسرّع كلًا من التطوير والتدريب.

اختيار إصدار نواة محددة وتثبيتها

تُدار مستودعات النواة على Hub بإصدارات على شكل فروع (v1، v2، v3، …)، ويختار Transformers إصدارًا افتراضيًا لكل مستودع. قد يتغير هذا الافتراضي من إصدار Transformers إلى التالي، لذا فإن القيمة نفسها لـattn_implementation لا تحل دائمًا إلى نفس البناء.

للتحكم في الإصدار الذي يتم تحميله، أضف نسخة إلى معرّف المستودع، سواء كان فرع إصدار أو معرف SHA للالتزام:

from transformers import AutoModelForCausalLM

model = AutoModelForCausalLM.from_pretrained(
    "your-model-name",
    attn_implementation="kernels-community/flash-attn2@v2",  # or a commit SHA to pin an exact build
)

يُعد تثبيت الإصدار مفيدًا لجعل عملية التدريب قابلة للتكرار، وللبقاء على إصدار معروف الصلاحية عندما يظهر انحدار في إصدار أحدث. يرجى ملاحظة أن كل إصدار يتضمن فقط حزمًا مبنية لنطاق من إصدارات Torch وCUDA، لذا قد لا يتوفر أي متغير للإصدار المثبت يناسب بيئة عملك.

يعود attn_implementation="flash_attention_2" إلى نواة kernels-community/flash-attn2 على Hub عندما لا يكون الحزمة flash-attn مثبتة، لذا قد تكون تستخدم نواة Hub دون أن تطلبها صراحةً.

تفشل حاليًا عمليات البناء v3 الخاصة بـ CUDA 12.8 في مسار الرجوع (backward pass) للنماذج التي تستخدم الانتباه الاستعلامي المجمّع (grouped-query attention). إذا كان بيئتك يستخدم إصدار CUDA ذلك، فثبّت @v2 حتى يتم إغلاق huggingface/kernels-community#1085.

مقارنة تنفيذات الانتباه

قمنا بتقييم مختلف تطبيقات الانتباه المتاحة في transformers، إلى جانب مختلف نوى الخلفية، باستخدام TRL وSFT.
تم تنفيذ التجارب على وحدة معالجة رسومات H100 GPU واحدة مع CUDA 12.9، مع الاستفادة من Qwen3-8B بحجم دفعة batch size of 8، وتجميع تدرج gradient accumulation of 1، ودقة bfloat16.
يرجى ملاحظة أن النتائج المعروضة هنا خاصة بهذا الإعداد وقد تختلف مع تكوينات تدريب مختلفة.

يوضح الشكل التالي كلًا من زمن الاستجابة (الزمن لكل خطوة تدريب) وذروة الذاكرة المخصصة لتنفيذات الانتباه المختلفة وخوادم النواة الأساسية.
تتفوق تنفيذات القائمة على النواة على تنفيذ الانتباه المثبت مخصصًا، كما أن زيادة max_length للنموذج تعزز الأداء بشكل أكبر. استهلاك الذاكرة متشابه عبر جميع التنفيذات، مما لا يُظهر فروقًا جوهرية. نحصل على الأداء نفسه ولكن مع تقليل الاحتكاك، كما هو موضح في القسم التالي.

Latency and Memory Usage Latency and Memory Usage

Flash Attention مقابل نواة Hub

قد يستغرق بناء Flash Attention من المصدر وقتًا طويلاً، حيث يمكن أن يستغرق الأمر من بضع دقائق إلى ساعات، وذلك تبعًا لمكوناتك العتادية، وإعداد CUDA/PyTorch، وما إذا كانت عجلات مُجمّعة مسبقًا متاحة.

على النقيض من ذلك، يوفر Hugging Face Kernels سير عمل أسرع بكثير وأكثر موثوقية. لا يحتاج المطورون إلى القلق بشأن الإعدادات المعقدة، حيث يتم التعامل مع كل شيء تلقائيًا. في اختباراتنا المرجعية، كانت الأنوية جاهزة للاستخدام في حوالي 2.5 ثانية، دون الحاجة إلى أي تجميع. وهذا يتيح لك بدء التدريب فورًا تقريبًا، مما يسرّع التطوير بشكل كبير. ما عليك سوى تحديد الإصدار المطلوب، وسيتولى kernels الباقي.

Update on GitHub