Transformers documentation
Lakukan penyesuaian halus pada model
Lakukan penyesuaian halus pada model
Bobot terkuantisasi tidak dapat diperbarui secara langsung oleh gradien, sehingga Anda melakukan fine-tuning pada model terkuantisasi dengan melatih adapter kecil di atas bobot terkuantisasi yang dibekukan. Melatih adapter LoRA pada model 4-bit dikenal sebagai QLoRA, dan memungkinkan Anda melakukan fine-tuning pada model yang tidak akan muat di memori dalam bf16.
Trainer memeriksa model sebelum pelatihan untuk memastikan:
- Metode kuantisasi mendukung pelatihan. Lihat kolom Fine-tune di Pilih metode.
- Model memiliki adapter yang dapat dilatih. Metode yang mendukung pelatihan yang sadar kuantisasi adalah pengecualian, yang dibahas di bawah.
- Model tidak dikompilasi dengan
torch.compile.
Latih sebuah adapter
Instal PEFT.
pip install -U peft
Muat model dengan metode yang mendukung pelatihan, tempelkan adapter LoRA dengan add_adapter(), dan teruskan model ke Trainer. Contoh di bawah menggunakan 4-bit bitsandbytes dan mengasumsikan train_dataset adalah dataset yang sudah ditokenisasi.
import torch
from peft import LoraConfig
from transformers import AutoModelForCausalLM, BitsAndBytesConfig, Trainer, TrainingArguments
quantization_config = BitsAndBytesConfig(
load_in_4bit=True,
bnb_4bit_quant_type="nf4",
bnb_4bit_compute_dtype=torch.bfloat16,
)
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
quantization_config=quantization_config,
device_map="auto",
)
lora_config = LoraConfig(r=16, lora_alpha=32, target_modules="all-linear", task_type="CAUSAL_LM")
model.add_adapter(lora_config)
trainer = Trainer(
model=model,
args=TrainingArguments(output_dir="qwen3-qlora", bf16=True),
train_dataset=train_dataset,
)
trainer.train()Hanya bobot adapter yang dilatih. Bobot dasar yang dikuantisasi tetap beku.
Simpan adapter
save_pretrained() hanya menyimpan bobot adapter, yang ukurannya beberapa megabita. Ini berfungsi dengan setiap metode, termasuk metode yang tidak dapat menyimpan bobot kuantisasinya.
model.save_pretrained("qwen3-qlora-adapter")Untuk menggunakan adapter, muat model dasar dengan konfigurasi kuantisasi yang sama dan muat adapter di atasnya. Lihat Memuat adapter untuk detailnya.
Pelatihan yang mempertimbangkan kuantisasi
BitNet dan compressed-tensors dapat melatih model penuh tanpa adapter, selama bobot tetap dalam bentuk yang dapat dilatih.
- BitNet membutuhkan
linear_class="autobitlinear"danquantization_mode="online"di BitNetQuantConfig. - compressed-tensors memerlukan checkpoint yang tidak dikompresi, atau
dequantize=Truedi CompressedTensorsConfig. Checkpoint yang menggunakan kernel FP8 tidak dapat dilatih.
Lihat Konsep kuantisasi untuk memahami bagaimana pelatihan yang sadar kuantisasi berbeda dari kuantisasi pasca-pelatihan.
Update on GitHub