Transformers documentation

Декодирование модели

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Декодирование модели

Декуантизация возвращает квантованные веса в формат с более высокой точностью, например, bf16. Декуантизируйте модель, чтобы полностью дообучить её, запустить на оборудовании, ядра которого не поддерживаются данным методом, или преобразовать её в другой формат. Результат занимает столько же памяти, сколько и некуантизованная модель, и не восстанавливает точность, утраченную из-за округления.

Transformers выполняет деквантизацию двумя способами в зависимости от метода.

МетодКак выполнить деквантование
bitsandbytes, HIGGSВызывайте dequantize() после загрузки.
compressed-tensors, Тонкозернистый FP8, GGUF, Metal, MXFP4Передайте dequantize=True в конфигурацию метода при загрузке.

Другие методы вызывают NotImplementedError из dequantize().

Декомпрессия после загрузки

Вызовите dequantize() для загруженной модели. По умолчанию используется dtype, в котором модель была загружена. Передайте dtype, чтобы выбрать другой.

import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=BitsAndBytesConfig(load_in_4bit=True),
    device_map="auto",
)
model = model.dequantize(dtype=torch.bfloat16)

dequantize() также удаляет quantization_config, поэтому save_pretrained() сохраняет обычный чекпоинт с полной точностью.

Декодирование при загрузке

Передайте dequantize=True в конфигурацию метода, который это поддерживает. Веса деквантуются в процессе загрузки, поэтому квантованные ядра никогда не используются. В примере ниже веса MXFP4 модели gpt-oss загружаются в bf16.

from transformers import AutoModelForCausalLM, Mxfp4Config

model = AutoModelForCausalLM.from_pretrained(
    "openai/gpt-oss-20b",
    quantization_config=Mxfp4Config(dequantize=True),
    device_map="auto",
)

Некоторые методы автоматически выполняют деквантование, если их ядра не могут быть запущены. Например, GGUF переключается на деквантование, если ни одно ядро не поддерживает типы квантования файла.

Update on GitHub