Transformers documentation
الحفاظ على الوحدات بدقة كاملة
الحفاظ على الوحدات بدقة كاملة
تفقد بعض الوحدات دقةً أكبر من غيرها عند التكميم. إبقاؤها في دقتها الأصلية يستهلك ذاكرةً قليلةً ويمكن أن يستعيد جزءًا كبيرًا من الدقة. ينطبق هذا عند تكميم النموذج أثناء تحميله. أما نقطة التفتيش المُكمَّمة مسبقًا فتسجّل الوحدات التي تم تجاوزها بالفعل.
وحدات التخطي الافتراضية
إذا لم تُمرر قائمة تخطٍّ، فإن معظم الطرق تُبقي هذه الوحدات غير مُكمّاة.
- تضمينات الإخراج، وعادةً ما تكون
lm_head. - الأوزان المرتبطة بأوزان أخرى، مثل تضمينات الإدخال التي تشارك الأوزان مع
lm_head. - الوحدة الأخيرة في النموذج.
- وحدات النموذج المدرجة في
_keep_in_fp32_modules.
تحدد بعض الطرق قيمتها الافتراضية الخاصة بدلاً من ذلك. فتتخطى HQQ وFP-Quant وFour Over Six وحدة lm_head فقط. بينما تتخطى SINQ الوحدات الموجودة في _keep_in_fp32_modules فقط.
مرر قائمة تخطٍّ
مرّر أسماء الوحدات إلى معامل قائمة التخطي في إعدادات الطريقة. يحافظ المثال أدناه على lm_head وإسقاطات MLP الهابطة في bf16 باستخدام bitsandbytes.
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
llm_int8_skip_modules=["lm_head", "mlp.down_proj"],
)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
quantization_config=quantization_config,
device_map="auto",
)تستبدل قائمة التخطي (skip list) الوحدات المُتخطَّاة افتراضيًا بدلاً من الإضافة إليها، مع بقاء الوحدات الموجودة في
_keep_in_fp32_modulesمُتخطَّاة. أضفlm_headإلى قائمتك إذا كنت لا تزال ترغب في إبقائه غير مُكمَّم. AWQ هو الاستثناء الوحيد الذي يضيف قائمتك إلى الإعدادات الافتراضية.
يعتمد اسم الحجة على الطريقة.
| الحُجّة | الطرق |
|---|---|
modules_to_not_convert | معظم الأساليب، بما في ذلك AWQ وEETQ وFBGEMM FP8 وFine-grained FP8 وFour Over Six وFP-Quant وHIGGS وMetal وMXFP4 وNVFP4 وQuanto وSINQ وtorchao |
llm_int8_skip_modules | bitsandbytes، في وضعي 4 بت و8 بت |
skip_modules | HQQ |
يتّبع GPTQ النهج المعاكس. يحدد modules_in_block_to_quantize الوحدات التي يجب تكميمها، بينما تُترك جميع العناصر الأخرى في الكتلة دون تكميم.
مطابقة أسماء الوحدات
تطابق معظم الطرق كل عنصر في قائمة التخطي مع أسماء الوحدات الكاملة من model.named_modules()، مثل model.layers.3.mlp.down_proj. HQQ هو الاستثناء، حيث يطابق أسماء الطبقات بشكل دقيق. يتطابق العنصر بأحد ثلاثة طرق.
- كلاحقة. يطابق
mlp.down_projالإسقاط الهابط في كل طبقة. - كبادئة تنتهي عند حد وحدة.
model.layers.1يطابقmodel.layers.1.mlpلكنه لا يطابقmodel.layers.11.mlp. - كصيغة نمطية مع نفس الحد. يطابق
model\.layers\.(0|1)الطبقتين الأولى والثانية.
اطبع أسماء الوحدات للعثور على العناصر الصحيحة.
for name, _ in model.named_modules():
print(name)اختر الوحدات التي تريد تجاوزها
تجاوز الوحدات التي يؤثر فيها خطأ التقريب على الدقة بشكل أكبر مقابل أقل توفير في الذاكرة. ابدأ بالإعدادات الافتراضية، وقيس الدقة على مهمتك، وأضف الوحدات فقط إذا انخفضت.
- ينتج
lm_headالقيم اللوجستية (logits) لكل رمز في قاموس النموذج، لذا فإن أي أخطاء فيه تغيّر مباشرةً الرمز الذي يتم اختياره. يتم تخطيه افتراضيًا. وفي النماذج ذات القواميس الكبيرة، يُعدّ أيضًا من أكبر الطبقات الفردية، لذا فإن تكميمه يوفر ذاكرة حقيقية إذا حافظت الدقة على مستواها. - تحدد طبقات موجّهات أو بوابات MoE، مثل
mlp.gateفي Qwen3-MoE أوmlp.routerفي gpt-oss، الخبراء الذين يُوجَّه إليهم كل رمز. وهي صغيرة الحجم، وقد يؤدي خطأ في التقريب إلى إرسال رمز إلى الخاطئ، لذا يُنصح دائمًا تقريبًا بتخطيها. - تُعدّ مشفّرات الرؤية والمُشغِّلات متعددة الوسائط في نماذج اللغة-الرؤية صغيرة الحجم مقارنةً بنموذج اللغة، والأخطاء فيها تشوّه كل رمز صورة. تخطَّها إذا تدهورت جودة فهم الصور.
- تميل طبقات المُفكِّك (decoder) الأولى والأخيرة إلى احتواء عدد أكبر من القيم الشاذة في التفعيلات مقارنةً بالطبقات الوسطى. تخطَّ هذه الطبقات إذا كانت دقة النموذج المُكمَّم (quantized) أسوأ بشكل ملحوظ مقارنةً بدقة النموذج في صيغة bf16.
كل وحدة تتخطاها تبقى في دقتها الأصلية وتستهلك ذاكرة. تأكد من أن النموذج لا يزال يتسع بعد إضافتك إلى قائمة التخطي.
Update on GitHub