# Основы чата

Чат-модели — это диалоговые модели, которым можно отправить сообщение и получить ответ. Большинство языковых моделей, выпущенных с середины 2023 года, являются чат-моделями и могут называться «instruct» или «instruction-tuned». Модели, не поддерживающие чат, часто называют «base» или «pretrained».

Более крупные и новые модели, как правило, обладают большими возможностями, однако модели, специализированные в определённых областях (медицинские и юридические тексты, языки, отличные от английского и т. д.), часто превосходят эти более крупные модели. Используйте рейтинги, такие как [OpenLLM](https://hf.co/spaces/HuggingFaceH4/open_llm_leaderboard) и [LMSys Chatbot Arena](https://chat.lmsys.org/?leaderboard), чтобы подобрать лучшую модель для вашей задачи.

В этом руководстве показано, как быстро загрузить чат-модели в Transformers из командной строки, как построить и отформатировать диалог, а также как вести чат с помощью [TextGenerationPipeline](/docs/transformers/v5.23.0/ru/main_classes/pipelines#transformers.TextGenerationPipeline).

## chat CLI

После того как вы [установите Transformers](./installation), вы сможете общаться с моделью прямо из командной строки. Команда ниже запускает интерактивную сессию с моделью; в начале сессии выводится список нескольких базовых команд.

> Для следующих команд убедитесь, что [`transformers serve` запущен](./serve-cli/serving).

```bash
transformers chat Qwen/Qwen2.5-0.5B-Instruct
```

    

Вы можете запустить CLI с произвольными флагами `generate` в формате `arg_1=value_1 arg_2=value_2 ...`

```bash
transformers chat Qwen/Qwen2.5-0.5B-Instruct do_sample=False max_new_tokens=10
```

Для полного списка параметров выполните команду ниже.

```bash
transformers chat -h
```

Чат реализован на базе [AutoClass](./model_doc/auto) с использованием инструментов из [text generation](./llm_tutorial) и [chat](./chat_templating). Под капотом он использует CLI `transformers serve` ([docs](./serve-cli/serving)).

## TextGenerationPipeline

[TextGenerationPipeline](/docs/transformers/v5.23.0/ru/main_classes/pipelines#transformers.TextGenerationPipeline) — это высокоуровневый класс для генерации текста с поддержкой «режима чата». Режим чата активируется, если обнаружена модель для диалогов и чат-промпт [корректно отформатирован](./llm_tutorial#prompt-format).

Чат-модели принимают на вход список сообщений (историю чата). Каждое сообщение — это словарь с ключами `role` и `content`. Чтобы начать чат, добавьте одно сообщение от `user`. Также можно по желанию включить сообщение `system`, чтобы задать модели правила поведения.

```py
chat = [
    {"role": "system", "content": "You are a helpful science assistant."},
    {"role": "user", "content": "Hey, can you explain gravity to me?"}
]
```

Создайте [TextGenerationPipeline](/docs/transformers/v5.23.0/ru/main_classes/pipelines#transformers.TextGenerationPipeline) и передайте в него `chat`. Для больших моделей установка [device_map="auto"](./models#big-model-inference) помогает быстрее загрузить модель и автоматически размещает её на самом быстром доступном устройстве.

```py
import torch
from transformers import pipeline

pipeline = pipeline(task="text-generation", model="HuggingFaceTB/SmolLM2-1.7B-Instruct", dtype="auto", device_map="auto")
response = pipeline(chat, max_new_tokens=512)
print(response[0]["generated_text"][-1]["content"])
```

Если всё прошло успешно, вы увидите ответ модели! Если вы хотите продолжить диалог, вам нужно обновить историю чата, добавив ответ модели. Вы можете сделать это, добавив текст в `chat` (используя роль `assistant`), или прочитав `response[0]["generated_text"]`, который содержит полную историю чата, включая последний ответ.

После получения ответа модели вы можете продолжить диалог, добавив новое сообщение `user` в историю чата.

```py
chat = response[0]["generated_text"]
chat.append(
    {"role": "user", "content": "Woah! But can it be reconciled with quantum mechanics?"}
)
response = pipeline(chat, max_new_tokens=512)
print(response[0]["generated_text"][-1]["content"])
```

Повторяя этот процесс, вы можете продолжать диалог столько, сколько пожелаете, — по крайней мере, до тех пор, пока модель не исчерпает контекстное окно или у вас не закончится память.

## Производительность и использование памяти

Transformers по умолчанию загружают модели в полной точности `float32`, и для модели на 8B это требует ~32 ГБ памяти! Используйте аргумент `torch_dtype="auto"`, который, как правило, применяет `bfloat16` для моделей, обученных в этой точности, чтобы снизить потребление памяти.

> [!TIP]
> См. документацию [Quantization](./quantization/overview) для получения дополнительной информации о различных доступных бэкендах квантования.

Чтобы ещё больше снизить потребление памяти, вы можете квантовать модель до 8 или 4 бит с помощью [bitsandbytes](https://hf.co/docs/bitsandbytes/index). Создайте [BitsAndBytesConfig](/docs/transformers/v5.23.0/ru/main_classes/quantization#transformers.BitsAndBytesConfig) с нужными параметрами квантования и передайте его в параметр `model_kwargs` пайплайна. В примере ниже модель квантуется до 8 бит.

```py
from transformers import pipeline, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_8bit=True)
pipeline = pipeline(task="text-generation", model="meta-llama/Meta-Llama-3-8B-Instruct", device_map="auto", model_kwargs={"quantization_config": quantization_config})
```

В целом размер модели и её производительность напрямую связаны. Более крупные модели работают медленнее и требуют больше памяти, поскольку каждый активный параметр должен быть прочитан из памяти для каждого сгенерированного токена. Это является узким местом при генерации текста LLM, и основными вариантами для повышения скорости генерации являются либо квантование модели, либо использование оборудования с более высокой пропускной способностью памяти. Увеличение вычислительной мощности не даёт существенного эффекта.

Вы также можете попробовать такие техники, как [speculative decoding](./assisted_decoding#speculative-decoding), при которой более маленькая модель генерирует кандидаты токенов, которые затем проверяются более крупной моделью. Если кандидаты токенов корректны, более крупная модель может генерировать более одного токена за раз. Это значительно снимает узкое место пропускной способности и повышает скорость генерации.

> [!TIP]
Модели Mixture-of-Expert (MoE), такие как [Mixtral](./model_doc/mixtral), [Qwen2MoE](./model_doc/qwen2_moe) и [GPT-OSS](./model_doc/gpt_oss), содержат большое количество параметров, но для генерации каждого токена «активируют» лишь небольшую их часть. В результате MoE-модели, как правило, предъявляют значительно меньшие требования к пропускной способности памяти и могут работать быстрее, чем обычные LLM того же размера. Однако такие техники, как спекулятивное декодирование, неэффективны для MoE-моделей, поскольку с каждым новым спекулятивным токеном активируется всё больше параметров.

