Transformers documentation

الحفاظ على الوحدات بدقة كاملة

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

الحفاظ على الوحدات بدقة كاملة

تفقد بعض الوحدات دقةً أكبر من غيرها عند التكميم. إبقاؤها في دقتها الأصلية يستهلك ذاكرةً قليلةً ويمكن أن يستعيد جزءًا كبيرًا من الدقة. ينطبق هذا عند تكميم النموذج أثناء تحميله. أما نقطة التفتيش المُكمَّمة مسبقًا فتسجّل الوحدات التي تم تجاوزها بالفعل.

وحدات التخطي الافتراضية

إذا لم تُمرر قائمة تخطٍّ، فإن معظم الطرق تُبقي هذه الوحدات غير مُكمّاة.

  • تضمينات الإخراج، وعادةً ما تكون lm_head.
  • الأوزان المرتبطة بأوزان أخرى، مثل تضمينات الإدخال التي تشارك الأوزان مع lm_head.
  • الوحدة الأخيرة في النموذج.
  • وحدات النموذج المدرجة في _keep_in_fp32_modules.

تحدد بعض الطرق قيمتها الافتراضية الخاصة بدلاً من ذلك. فتتخطى HQQ وFP-Quant وFour Over Six وحدة lm_head فقط. بينما تتخطى SINQ الوحدات الموجودة في _keep_in_fp32_modules فقط.

مرر قائمة تخطٍّ

مرّر أسماء الوحدات إلى معامل قائمة التخطي في إعدادات الطريقة. يحافظ المثال أدناه على lm_head وإسقاطات MLP الهابطة في bf16 باستخدام bitsandbytes.

from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    llm_int8_skip_modules=["lm_head", "mlp.down_proj"],
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=quantization_config,
    device_map="auto",
)

تستبدل قائمة التخطي (skip list) الوحدات المُتخطَّاة افتراضيًا بدلاً من الإضافة إليها، مع بقاء الوحدات الموجودة في _keep_in_fp32_modules مُتخطَّاة. أضف lm_head إلى قائمتك إذا كنت لا تزال ترغب في إبقائه غير مُكمَّم. AWQ هو الاستثناء الوحيد الذي يضيف قائمتك إلى الإعدادات الافتراضية.

يعتمد اسم الحجة على الطريقة.

الحُجّةالطرق
modules_to_not_convertمعظم الأساليب، بما في ذلك AWQ وEETQ وFBGEMM FP8 وFine-grained FP8 وFour Over Six وFP-Quant وHIGGS وMetal وMXFP4 وNVFP4 وQuanto وSINQ وtorchao
llm_int8_skip_modulesbitsandbytes، في وضعي 4 بت و8 بت
skip_modulesHQQ

يتّبع GPTQ النهج المعاكس. يحدد modules_in_block_to_quantize الوحدات التي يجب تكميمها، بينما تُترك جميع العناصر الأخرى في الكتلة دون تكميم.

مطابقة أسماء الوحدات

تطابق معظم الطرق كل عنصر في قائمة التخطي مع أسماء الوحدات الكاملة من model.named_modules()، مثل model.layers.3.mlp.down_proj. HQQ هو الاستثناء، حيث يطابق أسماء الطبقات بشكل دقيق. يتطابق العنصر بأحد ثلاثة طرق.

  • كلاحقة. يطابق mlp.down_proj الإسقاط الهابط في كل طبقة.
  • كبادئة تنتهي عند حد وحدة. model.layers.1 يطابق model.layers.1.mlp لكنه لا يطابق model.layers.11.mlp.
  • كصيغة نمطية مع نفس الحد. يطابق model\.layers\.(0|1) الطبقتين الأولى والثانية.

اطبع أسماء الوحدات للعثور على العناصر الصحيحة.

for name, _ in model.named_modules():
    print(name)

اختر الوحدات التي تريد تجاوزها

تجاوز الوحدات التي يؤثر فيها خطأ التقريب على الدقة بشكل أكبر مقابل أقل توفير في الذاكرة. ابدأ بالإعدادات الافتراضية، وقيس الدقة على مهمتك، وأضف الوحدات فقط إذا انخفضت.

  • ينتج lm_head القيم اللوجستية (logits) لكل رمز في قاموس النموذج، لذا فإن أي أخطاء فيه تغيّر مباشرةً الرمز الذي يتم اختياره. يتم تخطيه افتراضيًا. وفي النماذج ذات القواميس الكبيرة، يُعدّ أيضًا من أكبر الطبقات الفردية، لذا فإن تكميمه يوفر ذاكرة حقيقية إذا حافظت الدقة على مستواها.
  • تحدد طبقات موجّهات أو بوابات MoE، مثل mlp.gate في Qwen3-MoE أو mlp.router في gpt-oss، الخبراء الذين يُوجَّه إليهم كل رمز. وهي صغيرة الحجم، وقد يؤدي خطأ في التقريب إلى إرسال رمز إلى الخاطئ، لذا يُنصح دائمًا تقريبًا بتخطيها.
  • تُعدّ مشفّرات الرؤية والمُشغِّلات متعددة الوسائط في نماذج اللغة-الرؤية صغيرة الحجم مقارنةً بنموذج اللغة، والأخطاء فيها تشوّه كل رمز صورة. تخطَّها إذا تدهورت جودة فهم الصور.
  • تميل طبقات المُفكِّك (decoder) الأولى والأخيرة إلى احتواء عدد أكبر من القيم الشاذة في التفعيلات مقارنةً بالطبقات الوسطى. تخطَّ هذه الطبقات إذا كانت دقة النموذج المُكمَّم (quantized) أسوأ بشكل ملحوظ مقارنةً بدقة النموذج في صيغة bf16.

كل وحدة تتخطاها تبقى في دقتها الأصلية وتستهلك ذاكرة. تأكد من أن النموذج لا يزال يتسع بعد إضافتك إلى قائمة التخطي.

Update on GitHub