# Квантование моделей

## Интеграция `bitsandbytes`

Accelerate brings `bitsandbytes` quantization to your model. You can now load any pytorch model in 8-bit or 4-bit with a few lines of code.

Если вы хотите использовать модели Transformers с `bitsandbytes`, следуйте этой [документации](https://huggingface.co/docs/transformers/main_classes/quantization).

Чтобы узнать больше о том, как работает квантование `bitsandbytes`, ознакомьтесь с блогами об [8-битном квантовании](https://huggingface.co/blog/hf-bitsandbytes-integration) и [4-битном квантовании](https://huggingface.co/blog/4bit-transformers-bitsandbytes).

### Предварительные требования
Вам потребуется установить следующие зависимости:

- Установите библиотеку `bitsandbytes`
```bash
pip install bitsandbytes
```
Для устройств, отличных от cuda, см. руководство по установке bitsandbytes [здесь](https://huggingface.co/docs/bitsandbytes/main/en/installation#multi-backend).

- Установите последнюю версию `accelerate` из исходного кода
```bash
pip install git+https://github.com/huggingface/accelerate.git
```
- Установите `minGPT` и `huggingface_hub`, чтобы запустить примеры
```bash
git clone https://github.com/karpathy/minGPT.git
pip install minGPT/
pip install huggingface_hub
```

### Как это работает

Сначала нам нужно инициализировать нашу модель. Чтобы сэкономить память, мы можем инициализировать пустую модель с помощью контекстного менеджера [init_empty_weights()](/docs/accelerate/v1.16.0/ru/package_reference/big_modeling#accelerate.init_empty_weights).

Возьмём модель GPT2 из библиотеки minGPT.
```py
from accelerate import init_empty_weights
from mingpt.model import GPT

model_config = GPT.get_default_config()
model_config.model_type = 'gpt2-xl'
model_config.vocab_size = 50257
model_config.block_size = 1024

with init_empty_weights():
    empty_model = GPT(model_config)
```

Затем нам нужно получить путь к весам вашей модели. Путь может указывать на файл state_dict (например, "pytorch_model.bin") или на папку, содержащую разбитые на части контрольные точки.

```py
from huggingface_hub import snapshot_download
weights_location = snapshot_download(repo_id="marcsun13/gpt2-xl-linear-sharded")
```

Наконец, вам нужно задать конфигурацию квантования с помощью [BnbQuantizationConfig](/docs/accelerate/v1.16.0/ru/package_reference/utilities#accelerate.utils.BnbQuantizationConfig).

Вот пример 8-битного квантования:
```py
from accelerate.utils import BnbQuantizationConfig
bnb_quantization_config = BnbQuantizationConfig(load_in_8bit=True, llm_int8_threshold = 6)
```

Вот пример 4-битного квантования:
```py
from accelerate.utils import BnbQuantizationConfig
bnb_quantization_config = BnbQuantizationConfig(load_in_4bit=True, bnb_4bit_compute_dtype=torch.bfloat16, bnb_4bit_use_double_quant=True, bnb_4bit_quant_type="nf4")
```

Чтобы квантовать вашу пустую модель с выбранной конфигурацией, необходимо использовать [load_and_quantize_model()](/docs/accelerate/v1.16.0/ru/package_reference/utilities#accelerate.utils.load_and_quantize_model).

```py
from accelerate.utils import load_and_quantize_model
quantized_model = load_and_quantize_model(empty_model, weights_location=weights_location, bnb_quantization_config=bnb_quantization_config)
```

### Сохранение и загрузка 8-битной модели

Вы можете сохранить вашу 8-битную модель с помощью accelerate, используя [save_model()](/docs/accelerate/v1.16.0/ru/package_reference/accelerator#accelerate.Accelerator.save_model).

```py
from accelerate import Accelerator
accelerate = Accelerator()
new_weights_location = "path/to/save_directory"
accelerate.save_model(quantized_model, new_weights_location)

quantized_model_from_saved = load_and_quantize_model(empty_model, weights_location=new_weights_location, bnb_quantization_config=bnb_quantization_config, device_map = "auto")
```

Обратите внимание, что сериализация моделей в 4-битном формате в настоящее время не поддерживается.

### Перенос модулей на cpu и диск 

Вы можете выгружать некоторые модули на cpu/disk, если на ваших GPU недостаточно места для хранения всей модели. Под капотом для этого используется big model inference. Подробнее см. в этой [документации](https://huggingface.co/docs/accelerate/usage_guides/big_modeling).

Для 8-битного квантования выбранные модули будут преобразованы в 8-битную точность.

Для 4-битного квантования выбранные модули будут храниться в `torch_dtype`, переданном пользователем в `BnbQuantizationConfig`. Мы добавим поддержку преобразования этих выгруженных модулей в 4-битный формат, когда станет возможным 4-битное сериализация.

 Вам достаточно передать пользовательский `device_map`, чтобы выгружать модули на cpu/disk. Модули, выгруженные на cpu/disk, будут автоматически перемещаться на GPU по мере необходимости. Пример:

```py
device_map = {
    "transformer.wte": 0,
    "transformer.wpe": 0,
    "transformer.drop": 0,
    "transformer.h": "cpu",
    "transformer.ln_f": "disk",
    "lm_head": "disk",
}
```
### Доработка квантованной модели

Выполнить обучение этих моделей в чистом 8-битном или 4-битном режиме невозможно. Однако вы можете обучать эти модели, используя методы эффективной дообучения (PEFT), например, обучая адаптеры поверх них. Подробности смотрите в библиотеке [peft](https://github.com/huggingface/peft).

В настоящее время вы не можете добавлять адаптеры поверх любой квантованной модели. Однако благодаря официальной поддержке адаптеров в моделях Transformers вы можете выполнять дообучение квантованных моделей. Если вы хотите дообучить модель Transformers, следуйте этой [документации](https://huggingface.co/docs/transformers/main_classes/quantization). Посмотрите эту [демонстрацию](https://colab.research.google.com/drive/1VoYNfYDKcKRQRor98Zbf2-9VQTtGJ24k?usp=sharing) о том, как дообучить 4-битную модель Transformers.

Обратите внимание, что при загрузке модели для обучения не нужно передавать `device_map`. Модель будет автоматически загружена на ваш GPU. Пожалуйста, имейте в виду, что `device_map=auto` следует использовать только для инференса.

### Пример демонстрации — запуск GPT2 1.5b на Google Colab

Ознакомьтесь с [демо](https://colab.research.google.com/drive/1T1pOgewAWVpR9gKpaEWw4orOrzPFb3yM?usp=sharing) в Google Colab для запуска квантованных моделей на модели GPT2. Чекпоинт модели GPT2-1.5B в формате FP32 занимает 6 ГБ памяти. После квантования он занимает 1,6 ГБ с 8-битными модулями и 1,2 ГБ с 4-битными модулями.

