Transformers documentation

Lakukan penyesuaian halus pada model

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Lakukan penyesuaian halus pada model

Bobot terkuantisasi tidak dapat diperbarui secara langsung oleh gradien, sehingga Anda melakukan fine-tuning pada model terkuantisasi dengan melatih adapter kecil di atas bobot terkuantisasi yang dibekukan. Melatih adapter LoRA pada model 4-bit dikenal sebagai QLoRA, dan memungkinkan Anda melakukan fine-tuning pada model yang tidak akan muat di memori dalam bf16.

Trainer memeriksa model sebelum pelatihan untuk memastikan:

  • Metode kuantisasi mendukung pelatihan. Lihat kolom Fine-tune di Pilih metode.
  • Model memiliki adapter yang dapat dilatih. Metode yang mendukung pelatihan yang sadar kuantisasi adalah pengecualian, yang dibahas di bawah.
  • Model tidak dikompilasi dengan torch.compile.

Latih sebuah adapter

Instal PEFT.

pip install -U peft

Muat model dengan metode yang mendukung pelatihan, tempelkan adapter LoRA dengan add_adapter(), dan teruskan model ke Trainer. Contoh di bawah menggunakan 4-bit bitsandbytes dan mengasumsikan train_dataset adalah dataset yang sudah ditokenisasi.

import torch
from peft import LoraConfig
from transformers import AutoModelForCausalLM, BitsAndBytesConfig, Trainer, TrainingArguments

quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.bfloat16,
)
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=quantization_config,
    device_map="auto",
)

lora_config = LoraConfig(r=16, lora_alpha=32, target_modules="all-linear", task_type="CAUSAL_LM")
model.add_adapter(lora_config)

trainer = Trainer(
    model=model,
    args=TrainingArguments(output_dir="qwen3-qlora", bf16=True),
    train_dataset=train_dataset,
)
trainer.train()

Hanya bobot adapter yang dilatih. Bobot dasar yang dikuantisasi tetap beku.

Simpan adapter

save_pretrained() hanya menyimpan bobot adapter, yang ukurannya beberapa megabita. Ini berfungsi dengan setiap metode, termasuk metode yang tidak dapat menyimpan bobot kuantisasinya.

model.save_pretrained("qwen3-qlora-adapter")

Untuk menggunakan adapter, muat model dasar dengan konfigurasi kuantisasi yang sama dan muat adapter di atasnya. Lihat Memuat adapter untuk detailnya.

Pelatihan yang mempertimbangkan kuantisasi

BitNet dan compressed-tensors dapat melatih model penuh tanpa adapter, selama bobot tetap dalam bentuk yang dapat dilatih.

  • BitNet membutuhkan linear_class="autobitlinear" dan quantization_mode="online" di BitNetQuantConfig.
  • compressed-tensors memerlukan checkpoint yang tidak dikompresi, atau dequantize=True di CompressedTensorsConfig. Checkpoint yang menggunakan kernel FP8 tidak dapat dilatih.

Lihat Konsep kuantisasi untuk memahami bagaimana pelatihan yang sadar kuantisasi berbeda dari kuantisasi pasca-pelatihan.

Update on GitHub