Transformers documentation
Декодирование модели
Декодирование модели
Декуантизация возвращает квантованные веса в формат с более высокой точностью, например, bf16. Декуантизируйте модель, чтобы полностью дообучить её, запустить на оборудовании, ядра которого не поддерживаются данным методом, или преобразовать её в другой формат. Результат занимает столько же памяти, сколько и некуантизованная модель, и не восстанавливает точность, утраченную из-за округления.
Transformers выполняет деквантизацию двумя способами в зависимости от метода.
| Метод | Как выполнить деквантование |
|---|---|
| bitsandbytes, HIGGS | Вызывайте dequantize() после загрузки. |
| compressed-tensors, Тонкозернистый FP8, GGUF, Metal, MXFP4 | Передайте dequantize=True в конфигурацию метода при загрузке. |
Другие методы вызывают NotImplementedError из dequantize().
Декомпрессия после загрузки
Вызовите dequantize() для загруженной модели. По умолчанию используется dtype, в котором модель была загружена. Передайте dtype, чтобы выбрать другой.
import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig
model = AutoModelForCausalLM.from_pretrained(
"Qwen/Qwen3-0.6B",
quantization_config=BitsAndBytesConfig(load_in_4bit=True),
device_map="auto",
)
model = model.dequantize(dtype=torch.bfloat16)dequantize() также удаляет quantization_config, поэтому save_pretrained() сохраняет обычный чекпоинт с полной точностью.
Декодирование при загрузке
Передайте dequantize=True в конфигурацию метода, который это поддерживает. Веса деквантуются в процессе загрузки, поэтому квантованные ядра никогда не используются. В примере ниже веса MXFP4 модели gpt-oss загружаются в bf16.
from transformers import AutoModelForCausalLM, Mxfp4Config
model = AutoModelForCausalLM.from_pretrained(
"openai/gpt-oss-20b",
quantization_config=Mxfp4Config(dequantize=True),
device_map="auto",
)Некоторые методы автоматически выполняют деквантование, если их ядра не могут быть запущены. Например, GGUF переключается на деквантование, если ни одно ядро не поддерживает типы квантования файла.
Update on GitHub