# Декодирование модели

Декуантизация возвращает квантованные веса в формат с более высокой точностью, например, bf16. Декуантизируйте модель, чтобы полностью дообучить её, запустить на оборудовании, ядра которого не поддерживаются данным методом, или преобразовать её в другой формат. Результат занимает столько же памяти, сколько и некуантизованная модель, и не восстанавливает точность, утраченную из-за округления.

Transformers выполняет деквантизацию двумя способами в зависимости от метода.

| Метод | Как выполнить деквантование |
|---|---|
| [bitsandbytes](./bitsandbytes), [HIGGS](./higgs) | Вызывайте [dequantize()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.dequantize) после загрузки. |
| [compressed-tensors](./compressed_tensors), [Тонкозернистый FP8](./finegrained_fp8), [GGUF](./gguf), [Metal](./metal), [MXFP4](./mxfp4) | Передайте `dequantize=True` в конфигурацию метода при загрузке. |

Другие методы вызывают `NotImplementedError` из [dequantize()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.dequantize).

## Декомпрессия после загрузки

Вызовите [dequantize()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.dequantize) для загруженной модели. По умолчанию используется dtype, в котором модель была загружена. Передайте `dtype`, чтобы выбрать другой.

```py
import torch
from transformers import AutoModelForCausalLM, BitsAndBytesConfig

model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen3-0.6B",
    quantization_config=BitsAndBytesConfig(load_in_4bit=True),
    device_map="auto",
)
model = model.dequantize(dtype=torch.bfloat16)
```

[dequantize()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.dequantize) также удаляет `quantization_config`, поэтому [save_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.save_pretrained) сохраняет обычный чекпоинт с полной точностью.

## Декодирование при загрузке

Передайте `dequantize=True` в конфигурацию метода, который это поддерживает. Веса деквантуются в процессе загрузки, поэтому квантованные ядра никогда не используются. В примере ниже веса MXFP4 модели gpt-oss загружаются в bf16.

```py
from transformers import AutoModelForCausalLM, Mxfp4Config

model = AutoModelForCausalLM.from_pretrained(
    "openai/gpt-oss-20b",
    quantization_config=Mxfp4Config(dequantize=True),
    device_map="auto",
)
```

Некоторые методы автоматически выполняют деквантование, если их ядра не могут быть запущены. Например, [GGUF](./gguf) переключается на деквантование, если ни одно ядро не поддерживает типы квантования файла.

