# DeepSeek-V4

[DeepSeek-V4](https://huggingface.co/deepseek-ai) — языковая модель MoE следующего поколения от DeepSeek ([статья](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash/blob/main/DeepSeek_V4.pdf)). Архитектура заменяет Multi-head Latent Attention (MLA) из DeepSeek-V3 гибридным дизайном локального и дальнего действия, подменяет остаточные соединения Manifold-Constrained Hyper-Connections (mHC) и инициализирует первые несколько MoE-слоев статической хеш-таблицей token-id → expert-id.

Эта реализация охватывает `DeepSeek-V4-Flash`, `DeepSeek-V4-Pro` и их предобученные варианты `-Base`. Все четыре модели имеют одинаковую архитектуру; они различаются только шириной / глубиной / количеством экспертов и весами.

> [!TIP]
> Установите `use_kernels=True` в [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained), чтобы заменить поддерживаемые слои на оптимизированные ядра из Hub. Подробнее см. в разделе [Загрузка ядер](../kernel_doc/loading_kernels).

## Architecture (статья §2)

### Гибридное внимание (§2.3)

Каждый блок декодера относится к одному из трёх типов внимания, выбор которого определяется по `config.layer_types[i]`:

* **Полное внимание со скользящим окном** (`"sliding_attention"`): только локальное окно из `sliding_window` токенов, без ветви для дальних связей. Соответствует стилю «Full Attention» в V3 для начальных слоёв.
* **Compressed Sparse Attention** (`"compressed_sparse_attention"`, **CSA** — раздел 2.3.1 статьи): пул с низкой степенью сжатия (`compress_rate_csa`, по умолчанию `m=4`) с перекрывающимися окнами, а также **Lightning Indexer** (формулы 13–17), который оценивает запросы относительно пула и собирает топ-`index_topk` блоков для каждого запроса до их попадания в ядро внимания.
* **Сильно сжатое внимание** (`"heavily_compressed_attention"`, **HCA** — раздел 2.3.2 статьи): пул с высокой степенью сжатия (`compress_rate_hca`, по умолчанию `m'=128`) с неперекрывающимися окнами. Индексатор отсутствует — каждый элемент пула участвует в вычислении внимания.

Все три типа имеют одинаковый базовый блок:

* **Общий K=V Multi-Query Attention**: `num_key_value_heads = 1`; `kv_proj` формирует один KV-хед, и один и тот же тензор используется и как ключ, и как значение.
* **Частичный RoPE** (interleaved-pair, раздел 2.3.3 статьи «Partial Rotary Positional Embedding») применяется к последним `qk_rope_head_dim = head_dim * partial_rotary_factor` каналам каждой головы. Та же ротация применяется с позицией `-i` к слайсу rope в выводе внимания (формула 26), чтобы вклад каждой записи KV оставался функцией *относительного* расстояния до запроса.
* **Обучаемый attention sink для каждой головы** (уравнение 27).
* **Групповая проекция вывода низкого ранга** (§2.3.1 «Grouped Output Projection»): `o_groups` групп заголовков → `o_lora_rank` на группу → `hidden_size`, вычисляется с помощью `DeepseekV4GroupedLinear` (`o_a_proj`), за которым следует `o_b_proj`. Снижает стоимость на токен для широкой проекции вывода внимания без потери выразительности.
* **Общая ветвь скользящего окна K=V** размера `sliding_window` («Additional Branch of Sliding Window Attention», §2.3.1) сохраняет локальные детальные зависимости; выход компрессора дальних связей конкатенируется с KV этой ветви перед основным вниманием.

### Гиперсоединения с ограничениями многообразия (§2.2)

Соединения остаточных связей заменяются на mHC (Xie et al., 2026): `hc_mult` параллельных остаточных потоков, которые на протяжении каждого блока сохраняют форму `[B, S, hc_mult, D]`. Два модуля `DeepseekV4HyperConnection` — `attn_hc` и `ffn_hc` — смешивают потоки на входе и выходе вокруг подслоёв внимания / MLP с помощью тройки `(pre, post, comb)`. Матрица `comb` является двойно-стохастическим отображением, получаемым с помощью итераций Синкхорна–Кноппа `hc_sinkhorn_iters` на многообразии, что делает распространение сигнала не расширяющим на глубоких стеках. Финальный `DeepseekV4HyperHead` сворачивает `hc_mult` потоков в единую последовательность перед нормализацией модели.

### Расписание MoE (§2.1)

Маршрутизация настраивается для каждого слоя с помощью `config.mlp_layer_types`, значениями из `{"hash_moe", "moe"}`:

* `"hash_moe"`: индексы экспертов получаются из замороженного поиска `tid2eid[input_ids]`, заполненного из контрольной точки V4. Обучаемые веса `weight` по-прежнему формируют оценки для каждого эксперта, которые взвешивают выбранных экспертов; статичен только *выбор экспертов*. Используется для первых нескольких бутстрап-слоёв (по умолчанию 3, переопределяется через устаревший параметр `num_hash_layers`).
* `"moe"`: стандартный top-k routed MoE. Для оценки аффинности экспертов используется **Sqrt(Softplus(·))** вместо Sigmoid из V3 («мы меняем функцию активации, вычисляющую оценки аффинности, с Sigmoid(·) на Sqrt(Softplus(·))», §2.1 статьи), а ограничение `n_group` / `topk_group` из V3 отброшено. Стратегия без вспомогательной функции потерь (`noaux_tc` от DeepSeek) сохраняется с помощью буфера `e_score_correction_bias`, который смещает top-k argmax без передачи градиентов.

Эксперты с маршрутизацией используют **ограниченный SwiGLU** (`gate.clamp(max=swiglu_limit)`, `up.clamp(min=-swiglu_limit, max=swiglu_limit)`, затем `act_fn(gate) * up`) поверх стандартной схемы весов экспертов Mixtral `[num_experts, 2 * moe_intermediate_size, hidden_size]`. Один общий эксперт (обычный SwiGLU MLP шириной `moe_intermediate_size`) выполняется параллельно для каждого токена.

### Раскладка маски внимания

Каждый слой `DeepseekV4Attention` расширяет стандартную скользящую причинно-следственную маску вдоль оси ключей с помощью `block_bias`, возвращаемого его компрессором, а затем передаёт объединённую маску в `eager_attention_forward`. Скользящая секция (слева, `[S, S]`) одинакова для всех типов слоёв; секция компрессора (справа) различается в зависимости от типа слоя и является по-настоящему «новым» элементом, введённым в V4.

Диаграммы ниже созданы с использованием минимальной конфигурации (`sliding_window=8`, CSA `m=4`, HCA `m'=8`, `index_topk=2`) на входе из 16 токенов, чтобы полная маска для каждого типа слоя помещалась на экране. Зелёный = диагональ query/key в скользящей секции, тёмный = видимая стандартная позиция KV, светлый = замаскирована, янтарный = слот компрессора / индексатора, на который query разрешено обращаться. Столбцы за пунктирной линией добавляются компрессором через `cat([sliding_causal_mask, block_bias], dim=-1)`.

**Слой только со скользящим окном (`"sliding_attention"`).** Без компрессора и без правого отступа — маска представляет собой обычную скользящую оконно-каузальную маску формы `[S, S]` (окно = 8). Для `i ≥ window` нижний левый треугольник отсечён, что восстанавливает паттерн внимания только к локальным токенам.

**Слой CSA (`"compressed_sparse_attention"`).** Компрессор разворачивает свой выход, собранный по каждому запросу, в `[B, 1, S·k, D]` и дополняет маску справа `S·k` столбцами. Для запроса `t` только `k` слотов в столбцах `[S + t·k, S + (t+1)·k)` содержат выбор индексатора; все остальные столбцы компрессора равны `-inf`. Запросы до закрытия первого окна (`t < m − 1`) ничего не получают — маркер `-1` индексатора напрямую передаётся в маску. По мере роста `t` становится доступно больше сжатых записей, и индексатор может заполнить все `k` слотов.

**Слой HCA (`"heavily_compressed_attention"`).** Индексатор отсутствует — каждая кэшированная сжатая запись потенциально видна. Справа дополняется `T_total = entry_count["compressor"]` столбцами. Запрос `t` может видеть запись `w` только после закрытия её исходного окна, то есть при `w < (t + 1) // m`. При `m=8` записи 0 (покрывает позиции `0..7`) и 1 (покрывает `8..15`) становятся видимыми при `t ≥ 7` и `t ≥ 15` соответственно.

Эти диаграммы можно воспроизвести целиком с помощью:

```bash
python docs/source/en/imgs/deepseek_v4/visualize_attention_masks.py \
    --svg docs/source/en/imgs/deepseek_v4
```

Скрипт выполняет прямой проход на этой небольшой конфигурации, оборачивает каждый слой внимания для захвата точной маски после `cat([attention_mask, block_bias])`, переназначает плоскую маску слотов `[S, S·k]` CSA обратно в представление видимости записей `[S, T_entries]` (таким образом, каждая колонка `C_w` является сжатой *записью*, а не слотом сбора), и записывает три SVG-файла, приведённые выше. Он также выводит ANSI-сетку в stdout для быстрого осмотра в терминале и сохраняет выбор top-k индексирующего механизма для каждого запроса, чтобы sentinel-значения разгона и выбранные варианты можно было проверить.

### Слои кэша

Каждый блок внимания без сдвига должен передавать состояние компрессора / индексатора между вызовами forward. V4 включает два типа слоёв кэша, которые автоматически регистрируются в `LAYER_TYPE_CACHE_MAPPING`:

* `DeepseekV4HCACache`: скользящее окно K=V + буфер/пул/счётчик компрессора HCA (без перекрытия, без индексатора).
* `DeepseekV4CSACache`: скользящее окно K=V + компрессор CSA (с состоянием перекрытия) + параллельный буфер/пул/счётчик/перекрытие индексатора в `index_head_dim`.

`DynamicCache(config=…)` создаёт соответствующий слой кэша для каждого `config.layer_types[i]`.

## DeepseekV4Config[[transformers.DeepseekV4Config]]

#### transformers.DeepseekV4Config[[transformers.DeepseekV4Config]]

```python
transformers.DeepseekV4Config(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 129280, hidden_size: int = 4096, moe_intermediate_size: int = 2048, num_hidden_layers: int = 43, num_attention_heads: int = 64, num_key_value_heads: int = 1, head_dim: int = 512, q_lora_rank: int = 1024, num_experts_per_tok: int = 6, n_routed_experts: int = 256, n_shared_experts: int = 1, scoring_func: str = 'sqrtsoftplus', norm_topk_prob: bool = True, routed_scaling_factor: float = 1.5, max_position_embeddings: int = 1048576, rope_theta: float | int = 10000.0, layer_types: list[str] | None = None, compress_rates: dict | None = None, compress_rope_theta: float | int = 160000.0, hc_mult: int = 4, hc_sinkhorn_iters: int = 20, hc_eps: float = 1e-06, mlp_layer_types: list[str] | None = None, swiglu_limit: float = 10.0, sliding_window: int = 128, o_groups: int = 8, o_lora_rank: int = 1024, index_n_heads: int = 64, index_head_dim: int = 128, index_topk: int = 512, num_nextn_predict_layers: int = 1, output_router_logits: bool = False, router_aux_loss_coef: float = 0.001, router_jitter_noise: float = 0.0, hidden_act: str = 'silu', initializer_range: float = 0.02, rms_norm_eps: float = 1e-06, use_cache: bool = True, pad_token_id: int | None = None, bos_token_id: int | None = 0, eos_token_id: int | list[int] | None = 1, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, partial_rotary_factor: float | None = None, attention_bias: bool = False, mlp_bias: bool = False, attention_dropout: float = 0.0)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/deepseek_v4/configuration_deepseek_v4.py#L40)

**Параметры:**

vocab_size (`int`, *необязательный*, по умолчанию `129280`) : Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в `input_ids`.

hidden_size (`int`, *optional*, по умолчанию `4096`) : Размерность скрытых представлений.

moe_intermediate_size (`int`, *необязательный*, по умолчанию `2048`) : Промежуточный размер MLP маршрутизированных экспертов.

num_hidden_layers (`int`, *необязательный*, по умолчанию `43`) : Количество скрытых слоев в декодере Transformer.

num_attention_heads (`int`, *необязательный*, по умолчанию `64`) : Количество головок внимания для каждого слоя внимания в декодере Transformer.

num_key_value_heads (`int`, *optional*, по умолчанию `1`) : Это количество ключевых и value-голов, которое следует использовать для реализации Grouped Query Attention. Если `num_key_value_heads=num_attention_heads`, модель будет использовать Multi Head Attention (MHA), если `num_key_value_heads=1` — Multi Query Attention (MQA), в противном случае используется GQA. При конвертации multi-head checkpoint в GQA checkpoint каждая группа ключевых и value-голов должна быть построена путем усреднения (meanpooling) всех исходных голов в этой группе. Подробнее см. в [этой статье](https://huggingface.co/papers/2305.13245). Если значение не указано, по умолчанию используется `num_attention_heads`.

head_dim (`int`, *необязательный*, по умолчанию `512`) : Размер измерения головы внимания. Если None, по умолчанию будет hidden_size // num_attention_heads

q_lora_rank (`int`, *необязательный*, по умолчанию `1024`) : Ранг матриц LoRA для проекций запросов.

num_experts_per_tok (`int`, *optional*, по умолчанию `6`) : Количество экспертов, к которым маршрутизируется каждый токен. Это значение top-k для маршрутизации по выбору токена.

n_routed_experts (`int`, *необязательный*, по умолчанию `256`) : Количество маршрутизируемых экспертов.

n_shared_experts (`int`, *необязательный*, по умолчанию `1`) : Количество общих экспертов.

scoring_func (`str`, *необязательный*, по умолчанию `sqrtsoftplus`) : Активация роутера — `sqrtsoftplus`, `softmax` или `sigmoid`.

norm_topk_prob (`bool`, *необязательный*, по умолчанию `True`) : Нужно ли нормализовать веса маршрутизированных экспертов.

routed_scaling_factor (`float`, *необязательный*, по умолчанию `1.5`) : Коэффициент масштабирования или маршрутизированных экспертов.

max_position_embeddings (`int`, *optional*, по умолчанию `1048576`) : Максимальная длина последовательности, с которой может использоваться эта модель.

rope_theta (`Union[float, int]`, *необязательный*, по умолчанию `10000.0`) : базовое значение RoPE для основного вращательного механизма self-attention.

layer_types (`list[str]`, *необязательный*) : Расписание внимания по слоям со значениями из `{"compressed_sparse_attention", "heavily_compressed_attention"}`. Значение по умолчанию для V4-Pro: 2× HCA bootstrap + чередующиеся CSA / HCA.

compress_rates (`dict[str, int]`) : Коэффициент сжатия для каждого типа слоя. По умолчанию `{"compressed_sparse_attention": 4, "heavily_compressed_attention": 128}` (m=4 для CSA, m'=128 для HCA, разделы §2.3.1 / §2.3.2 статьи). BC: конфигурации, в которых `compress_rate_csa` / `compress_rate_hca` переданы как аргументы верхнего уровня, объединяются на этапе `__post_init__`.

compress_rope_theta (`Union[float, int]`, *необязательный*, по умолчанию `160000.0`) : базовое значение RoPE для сжатых ветвей (используется вместе с `rope_scaling` для YaRN).

hc_mult (`int`, *optional*, по умолчанию `4`) : Коэффициент расширения n_hc для Manifold-Constrained Hyper-Connection (mHC) (всегда активен; раздел 2.2).

hc_sinkhorn_iters (`int`, *optional*, по умолчанию `20`) : количество итераций t_max алгоритма Sinkhorn-Knopp для проекции отображения остаточного mHC на двойно-стохастические матрицы.

hc_eps (`float`, *необязательный*, по умолчанию `1e-06`) : Нижний предел для нормализации Sinkhorn-Knopp.

mlp_layer_types (`list[str]`, *необязательный*) : Поуровневый график MoE со значениями из `{"hash_moe", "moe"}`. `hash_moe` маршрутизирует через замороженный поиск `tid2eid[input_ids]` (раздел 2.1 статьи, «Hash-MoE bootstrap»); `moe` — это стандартный top-k маршрутизируемый MoE. По умолчанию: 3× `hash_moe`, затем `moe` для остальных. BC: устаревшие конфигурации, передающие `num_hash_layers` как верхнеуровневый kwarg, объединяются на этапе `__post_init__`.

swiglu_limit (`float`, *необязательный*, по умолчанию `10.0`) : Обрезает преактивации gate/up маршрутизированных экспертов.

sliding_window (`int`, *необязательный*, по умолчанию `128`) : Размер локального окна n_win, используемый в ветви скользящего окна каждого блока внимания.

o_groups (`int`, *необязательный*, по умолчанию `8`) : Количество групп головок g в сгруппированной проекции вывода (раздел 2.3.1 статьи, «Сгруппированная проекция вывода»).

o_lora_rank (`int`, *optional*, по умолчанию `1024`) : промежуточная размерность d_g для каждой группы в групповой проекции вывода.

index_n_heads (`int`, *необязательный*, по умолчанию `64`) : Количество заголовков запросов индексирующего механизма n_h^I (статья §2.3.1, уравнение 14).

index_head_dim (`int`, *необязательный*, по умолчанию `128`) : размерность c^I для головы индексатора (раздел 2.3.1 статьи).

index_topk (`int`, *optional*, по умолчанию `512`) : Количество сжатых записей на запрос, которые Lightning Indexer сохраняет с помощью top-k (раздел 2.3.1 статьи, уравнение 17).

num_nextn_predict_layers (`int`, *необязательный*, по умолчанию `1`) : количество MTP-слоёв в исходной контрольной точке (не создаётся здесь).

output_router_logits (`bool`, *необязательный*, по умолчанию `False`) : Нужно ли модели возвращать логиты роутера. Включение этого параметра также позволит модели выводить вспомогательную потерю, включая потерю балансировки нагрузки и z-потерю роутера.

router_aux_loss_coef (`float`, *необязательный*, по умолчанию `0.001`) : Коэффициент вспомогательной функции потерь для балансировки нагрузки. Используется для штрафования неравномерного маршрутизирования запросов к экспертам в MoE-моделях.

router_jitter_noise (`float`, *optional*, по умолчанию `0.0`) : Количество шума, добавляемого к логитам роутера во время обучения для более эффективного балансирования нагрузки.

hidden_act (`str`, *необязательный*, по умолчанию `silu`) : Нелинейная функция активации (функция или строка) в декодере. Например, `"gelu"`, `"relu"`, `"silu"` и т. д.

initializer_range (`float`, *необязательный*, по умолчанию `0.02`) : Стандартное отклонение truncated_normal_initializer для инициализации всех матриц весов.

rms_norm_eps (`float`, *необязательный*, по умолчанию `1e-06`) : Значение epsilon, используемое слоями нормализации rms.

use_cache (`bool`, *необязательный*, по умолчанию `True`) : Следует ли модели возвращать последние значения внимания key/values (не используется во всех моделях). Актуально только при `config.is_decoder=True` или если модель является генеративной моделью только с декодером.

pad_token_id (`int`, *необязательный*) : Идентификатор токена, используемый для выравнивания в словаре.

bos_token_id (`int`, *необязательный*, по умолчанию `0`) : Идентификатор токена, используемый для обозначения начала потока в словаре.

eos_token_id (`Union[int, list[int]]`, *необязательный*, по умолчанию `1`) : Идентификатор токена, используемого для обозначения конца потока в словаре.

tie_word_embeddings (`bool`, *необязательный*, по умолчанию `False`) : Связывать ли веса эмбеддингов согласно отображению `tied_weights_keys` модели.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Словарь, содержащий параметры конфигурации для вложений RoPE. Словарь должен содержать значение для `rope_theta` и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными `max_position_embeddings`.

partial_rotary_factor (`float`, *optional*) : Доля head_dim, на которую распространяется RoPE. По умолчанию `qk_rope_head_dim / head_dim`, поэтому размеры cos/sin равны `qk_rope_head_dim`.

attention_bias (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли смещение (bias) в слоях проекции запроса, ключа, значения и вывода при само-внимании.

mlp_bias (`bool`, *необязательный*, по умолчанию `False`) : Использовать ли смещение (bias) в слоях up_proj, down_proj и gate_proj в слоях MLP.

attention_dropout (`float`, *необязательный*, по умолчанию `0.0`) : Доля dropout для вероятностей внимания.

Это класс конфигурации для хранения настроек модели DeepseekV4Model. Он используется для создания модели Deepseek V4 в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации [deepseek-ai/DeepSeek-V4-Flash-Base](https://huggingface.co/deepseek-ai/DeepSeek-V4-Flash-Base)

Объекты конфигурации наследуются от [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig) и могут использоваться для управления выводами модели. Подробнее см. в документации [PreTrainedConfig](/docs/transformers/v5.23.0/ru/main_classes/configuration#transformers.PreTrainedConfig).

#### validate_layer_type[[transformers.DeepseekV4Config.validate_layer_type]]

```python
validate_layer_type()
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/deepseek_v4/configuration_deepseek_v4.py#L214)

V4 сужает глобальный `ALLOWED_LAYER_TYPES` до трёх типов блоков внимания и двух типов блоков MLP, которые он фактически предоставляет, в дополнение к стандартным проверкам длины и принадлежности к типу.

## DeepseekV4Model[[transformers.DeepseekV4Model]]

#### transformers.DeepseekV4Model[[transformers.DeepseekV4Model]]

```python
transformers.DeepseekV4Model(config: DeepseekV4Config)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/deepseek_v4/modeling_deepseek_v4.py#L1310)

**Параметры:**

config ([DeepseekV4Config](/docs/transformers/v5.23.0/ru/model_doc/deepseek_v4#transformers.DeepseekV4Config)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Deepseek V4 без дополнительных компонентов, выводящая необработанные скрытые состояния без какого-либо специализированного слоя сверху.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.DeepseekV4Model.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/deepseek_v4/modeling_deepseek_v4.py#L1328)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`.  [Что такое position IDs?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.

use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`).

**Возвращает:** `MoeModelOutputWithPast` или `tuple(torch.Tensor)`

`MoeModelOutputWithPast` или кортеж `torch.Tensor` (если передано `return_dict=False` или когда `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([DeepseekV4Config](/docs/transformers/v5.23.0/ru/model_doc/deepseek_v4#transformers.DeepseekV4Config)) и входных данных.

Метод forward модели [DeepseekV4Model](/docs/transformers/v5.23.0/ru/model_doc/deepseek_v4#transformers.DeepseekV4Model) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **last_hidden_state** (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`) -- Последовательность скрытых состояний на выходе последнего слоя модели.
- **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache).

  Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и, при необходимости, если `config.is_encoder_decoder=True`, в блоках кросс-внимания), которые можно использовать (см. входной параметр `past_key_values`) для ускорения последовательного декодирования.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.
- **router_logits** (`tuple(torch.Tensor)`, *необязательный*, возвращается, если переданы `output_router_probs=True` и `config.add_router_probs=True` или если `config.output_router_probs=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, sequence_length, num_experts)`.

  Сырые логиты маршрутизатора (после softmax), вычисляемые маршрутизаторами MoE; эти значения используются для вычисления вспомогательной функции потерь в моделях Mixture of Experts.

## DeepseekV4ForCausalLM[[transformers.DeepseekV4ForCausalLM]]

#### transformers.DeepseekV4ForCausalLM[[transformers.DeepseekV4ForCausalLM]]

```python
transformers.DeepseekV4ForCausalLM(config: DeepseekV4Config)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/deepseek_v4/modeling_deepseek_v4.py#L1458)

**Параметры:**

config ([DeepseekV4Config](/docs/transformers/v5.23.0/ru/model_doc/deepseek_v4#transformers.DeepseekV4Config)) : Класс конфигурации модели со всеми параметрами модели. Инициализация с файлом конфигурации не загружает веса, связанные с моделью, только конфигурацию. Используйте метод [from_pretrained()](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel.from_pretrained) для загрузки весов модели.

Модель Deepseek V4 для каузального языкового моделирования.

Эта модель наследуется от [PreTrainedModel](/docs/transformers/v5.23.0/ru/main_classes/model#transformers.PreTrainedModel). Общие методы, которые библиотека реализует для всех своих моделей (например, загрузка или сохранение, изменение размера входных эмбеддингов, обрезка головок и т. д.), описаны в документации родительского класса.

Эта модель также является подклассом [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) в PyTorch. Используйте её как обычный модуль PyTorch и обращайтесь к документации PyTorch по всем вопросам, связанным с общим использованием и поведением.

#### forward[[transformers.DeepseekV4ForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, output_router_logits: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Источник](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/deepseek_v4/modeling_deepseek_v4.py#L1476)

**Параметры:**

input_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы токенов входной последовательности в словаре. По умолчанию заполнение (padding) игнорируется. Индексы можно получить с помощью [AutoTokenizer](/docs/transformers/v5.23.0/ru/model_doc/auto#transformers.AutoTokenizer). Подробности см. в [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) и [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/ru/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__). [Что такое входные идентификаторы?](../glossary#input-ids)

attention_mask (`torch.Tensor` формы `(batch_size, sequence_length)`, *необязательный*) : Маска для предотвращения применения внимания к индексам токенов отсечки. Значения маски выбираются из `[0, 1]`:  - 1 для токенов, которые **не замаскированы**, - 0 для токенов, которые **замаскированы**.  [Что такое маски внимания?](../glossary#attention-mask)

position_ids (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательно*) : Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона `[0, config.n_positions - 1]`.  [Что такое position IDs?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *необязательный*) : Предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это `past_key_values`, возвращаемые моделью на предыдущем этапе декодирования, когда `use_cache=True` или `config.use_cache=True`. В качестве входного значения допускается только экземпляр [Cache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.Cache), см. наше [руководство по kv cache](https://huggingface.co/docs/transformers/en/kv_cache). Если `past_key_values` не переданы, по умолчанию будет инициализирован [DynamicCache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.DynamicCache). Модель будет выводить тот же формат кэша, который был передан на вход. Если используются `past_key_values`, ожидается, что пользователь передаст только необработанные `input_ids` (те, для которых не заданы их прошлые состояния ключей и значений в этой модели) с формой `(batch_size, unprocessed_length)` вместо всех `input_ids` с формой `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` формы `(batch_size, sequence_length, hidden_size)`, *необязательно*) : По желанию, вместо передачи `input_ids` можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы `input_ids` преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.

labels (`torch.LongTensor` формы `(batch_size, sequence_length)`, *необязательный*) : Метки для вычисления потерь каузального языкового моделирования. Индексы должны находиться в диапазоне `[-100, 0, ..., config.vocab_size]` (см. docstring для `input_ids`). Токены с индексами, установленными в `-100`, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне `[0, ..., config.vocab_size]`. Метки **внутренне сдвигаются**, так что `labels[..., 1:]` используются для предсказания `logits[..., :-1, :]`. Передавайте несдвинутые метки, соответствующие `input_ids` (т. е. `labels = input_ids`). Не **сдвигайте** метки самостоятельно перед передачей. Если метки уже сдвинуты (например, при параллелизме последовательностей), передайте их как аргумент `shift_labels`, и они будут использованы как есть. `labels` всё равно необходимо передать для вычисления потерь.

use_cache (`bool`, *необязательный*) : Если установлено в `True`, состояния ключей и значений `past_key_values` возвращаются и могут использоваться для ускорения декодирования (см. `past_key_values`).

output_router_logits (`bool`, *необязательный*) : Нужно ли возвращать логиты всех роутеров. Они полезны для вычисления потери роутера и не должны возвращаться во время инференса.

logits_to_keep (`Union[int, torch.Tensor]`, *необязательный*, по умолчанию `0`) : Если передано значение типа `int`, вычисляются logits для последних `logits_to_keep` токенов. Если передано `0`, logits вычисляются для всех `input_ids` (специальный случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типа `torch.Tensor`, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (одно измерение для batch и длины последовательности).

**Возвращает:** `MoeCausalLMOutputWithPast` или `tuple(torch.Tensor)`

Объект `MoeCausalLMOutputWithPast` или кортеж `torch.Tensor` (если передано `return_dict=False` или если `config.return_dict=False`), содержащий различные элементы в зависимости от конфигурации ([DeepseekV4Config](/docs/transformers/v5.23.0/ru/model_doc/deepseek_v4#transformers.DeepseekV4Config)) и входных данных.

Метод forward класса [DeepseekV4ForCausalLM](/docs/transformers/v5.23.0/ru/model_doc/deepseek_v4#transformers.DeepseekV4ForCausalLM) переопределяет специальный метод `__call__`.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр `Module`, а не эту функцию, поскольку первый выполняет шаги предварительной и постобработки, тогда как второй молча их игнорирует.

- **loss** (`torch.Tensor` формы `(1,)`, *необязательный*, возвращается, если задан `labels`) -- Потеря языковой модели (для предсказания следующего токена).
- **logits** (`torch.Tensor` формы `(batch_size, sequence_length, config.vocab_size)`) — Оценки предсказаний языковой модели (оценки для каждого токена словаря до применения SoftMax).
- **aux_loss** (`torch.Tensor`, *необязательный*, возвращается при передаче `output_router_logits=True` или при `config.output_router_logits=True`, если модель обучает свой роутер с потерей балансировки нагрузки) -- Вспомогательная потеря балансировки нагрузки для разреженных модулей. Модели, которые балансируют своих экспертов с помощью смещения роутера (DeepSeek-V3 и архитектуры, производные от него), возвращают здесь `None`, при этом по-прежнему возвращая `router_logits`.
- **router_logits** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_router_logits=True` или когда `config.output_router_logits=True`) -- Кортеж `torch.Tensor` (по одному для каждого разреженного слоя) формы `(batch_size * sequence_length, num_experts)`.

  Сырые логиты маршрутизатора, вычисленные маршрутизаторами MoE. Их можно использовать для вычисления функции потерь балансировки нагрузки или для анализа того, как токены распределяются по экспертам.
- **past_key_values** (`Cache`, *необязательный*, возвращается при передаче `use_cache=True` или когда `config.use_cache=True`) -- это экземпляр [Cache](/docs/transformers/v5.23.0/ru/internal/generation_utils#transformers.Cache). Подробнее см. в нашем [руководстве по кэшированию kv](https://huggingface.co/docs/transformers/en/kv_cache).

  Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания), которые можно использовать (см. вход `past_key_values`) для ускорения последовательного декодирования.
- **hidden_states** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_hidden_states=True` или когда `config.output_hidden_states=True`) -- Кортеж `torch.Tensor` (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы `(batch_size, sequence_length, hidden_size)`.

  Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.
- **attentions** (`tuple(torch.Tensor)`, *необязательный*, возвращается при передаче `output_attentions=True` или при `config.output_attentions=True`) -- Кортеж `torch.Tensor` (по одному на каждый слой) формы `(batch_size, num_heads, sequence_length, sequence_length)`.

  Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

Пример:

```python
>>> from transformers import AutoTokenizer, DeepseekV4ForCausalLM

>>> model = DeepseekV4ForCausalLM.from_pretrained("mistralai/DeepseekV4-8x7B-v0.1")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/DeepseekV4-8x7B-v0.1")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."
```

