# Qwen3-Omni-MOE

## Tổng quan

Mô hình Qwen3-Omni-MOE là một mô hình đa phương thức thống nhất được đề xuất trong [Báo cáo kỹ thuật Qwen3-Omni](https://huggingface.co/papers/2509.17765) từ nhóm Qwen, Tập đoàn Alibaba.

Tóm tắt từ báo cáo kỹ thuật như sau:

*Chúng tôi giới thiệu Qwen3-Omni, một mô hình đa phương thức đơn lẻ mà, lần đầu tiên, duy trì hiệu suất tiên tiến nhất (state-of-the-art) trên văn bản, hình ảnh, âm thanh và video mà không có sự suy giảm nào so với các mô hình đơn phương thức tương đương. Qwen3-Omni đạt hiệu suất ngang bằng với các mô hình đơn phương thức cùng kích thước trong dòng Qwen và đặc biệt vượt trội trên các tác vụ âm thanh. Trên 36 bộ chuẩn đánh giá (benchmark) về âm thanh và âm thanh-hình ảnh, Qwen3-Omni đạt SOTA mã nguồn mở trên 32 benchmark và SOTA tổng thể trên 22, vượt qua các mô hình đóng nguồn mạnh như Gemini-2.5-Pro, Seed-ASR và GPT-4o-Transcribe. Qwen3-Omni áp dụng kiến trúc MoE Thinker-Talker, thống nhất nhận thức và sinh thành trên văn bản, hình ảnh, âm thanh và video, tạo ra văn bản trôi chảy và giọng nói thời gian thực tự nhiên. Nó hỗ trợ tương tác văn bản bằng 119 ngôn ngữ, hiểu giọng nói bằng 19 ngôn ngữ và sinh giọng nói bằng 10 ngôn ngữ. Để giảm độ trễ gói tin đầu tiên trong tổng hợp dạng luồng (streaming), Talker dự đoán tự hồi quy (autoregressively) các codec âm thanh rời rạc bằng một lược đồ đa codebook. Tận dụng khả năng biểu diễn của các codebook này, chúng tôi thay thế khuếch tán theo khối (block-wise diffusion) tốn kém tính toán bằng một ConvNet nhân quả (causal) nhẹ, cho phép phát luồng từ khung codec đầu tiên. Trong các cài đặt khởi động lạnh (cold-start), Qwen3-Omni đạt độ trễ gói tin đầu tiên đầu-cuối (end-to-end) lý thuyết là 234 ms. Để tăng cường suy luận đa phương thức hơn nữa, chúng tôi giới thiệu một mô hình Thinking, suy luận rõ ràng (explicitly) trên các đầu vào từ bất kỳ phương thức nào. Do cộng đồng nghiên cứu hiện tại thiếu một mô hình chú thích (captioning) âm thanh đa dụng, chúng tôi đã tinh chỉnh Qwen3-Omni-30B-A3B để có được Qwen3-Omni-30B-A3B-Captioner, tạo ra các chú thích chi tiết, ít ảo giác (low-hallucination) cho các đầu vào âm thanh tùy ý. Qwen3-Omni-30B-A3B, Qwen3-Omni-30B-A3B-Thinking và Qwen3-Omni-30B-A3B-Captioner được công bố công khai theo giấy phép Apache 2.0.

## Ghi chú

- Sử dụng [Qwen3OmniMoeForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeForConditionalGeneration) để tạo ra đầu ra âm thanh và văn bản. Để chỉ tạo ra một loại đầu ra, hãy dùng [Qwen3OmniMoeThinkerForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeThinkerForConditionalGeneration) cho đầu ra chỉ văn bản và [Qwen3OmniMoeTalkerForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerForConditionalGeneration) cho đầu ra chỉ âm thanh.
- Trong trường hợp xảy ra lỗi hết bộ nhớ khi làm việc với đầu vào video, hãy giảm `processor.max_pixels`. Mặc định, giá trị tối đa được đặt ở mức rất lớn và các hình ảnh độ phân giải cao sẽ không được thay đổi kích thước, trừ khi độ phân giải vượt quá `processor.max_pixels`.
- Bộ xử lý có phương thức [apply_chat_template()](/docs/transformers/v5.23.0/vi/main_classes/processors#transformers.ProcessorMixin.apply_chat_template) riêng để chuyển đổi các tin nhắn chat thành đầu vào cho mô hình.

## Ví dụ sử dụng

`Qwen3-Omni` có thể được tìm thấy trên [Huggingface Hub](https://huggingface.co/Qwen).

### Suy luận phương tiện đơn

Mô hình có thể nhận văn bản, hình ảnh, âm thanh và video làm đầu vào. Dưới đây là một mã ví dụ cho suy luận.

```python
import soundfile as sf

from transformers import Qwen3OmniMoeForConditionalGeneration, Qwen3OmniMoeProcessor

model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
    "Qwen/Qwen3-Omni-30B-A3B-Instruct",
    device_map="auto"
)
processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")

conversations = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "/path/to/video.mp4"},
            {"type": "text", "text": "What can't you hear and see in this video?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    conversations,
    load_audio_from_video=True,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    fps=1,

    # kwargs to be passed to `Qwen3OmniMoeProcessor`
    padding=True,
    use_audio_in_video=True,
).to(model.device)

# Generation params for audio or text can be different and have to be prefixed with `thinker_` or `talker_`
text_ids, audio = model.generate(**inputs, use_audio_in_video=True, thinker_do_sample=False, talker_do_sample=True)
text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)

sf.write(
    "output.wav",
    audio.reshape(-1).detach().cpu().numpy(),
    samplerate=24000,
)
print(text)
```

### Tạo chỉ văn bản

Để chỉ tạo ra đầu ra dạng văn bản và tiết kiệm tài nguyên tính toán bằng cách không nạp mô hình tạo âm thanh, chúng ta có thể sử dụng mô hình `Qwen3OmniMoeThinkerForConditionalGeneration`.

```python
from transformers import Qwen3OmniMoeProcessor, Qwen3OmniMoeThinkerForConditionalGeneration

model = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained(
    "Qwen/Qwen3-Omni-30B-A3B-Instruct",
    device_map="auto",
)
processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")

conversations = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "video", "video": "/path/to/video.mp4"},
            {"type": "text", "text": "What can't you hear and see in this video?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    conversations,
    load_audio_from_video=True,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    fps=1,

    # kwargs to be passed to `Qwen3OmniMoeProcessor`
    padding=True,
    use_audio_in_video=True,
).to(model.device)

text_ids = model.generate(**inputs, use_audio_in_video=True)
text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)

print(text)
```

### Suy luận phương tiện hỗn hợp theo lô

Mô hình có thể xử lý các lô đầu vào bao gồm các mẫu hỗn hợp của nhiều loại khác nhau như văn bản, hình ảnh, âm thanh và video khi sử dụng mô hình `Qwen3OmniMoeThinkerForConditionalGeneration`. Dưới đây là một ví dụ.

```python
import soundfile as sf
from transformers import Qwen3OmniMoeForConditionalGeneration, Qwen3OmniMoeProcessor

model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
    "Qwen/Qwen3-Omni-30B-A3B-Instruct",
    device_map="auto"
)
processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")

# Conversation with video only
conversation1 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "video", "path": "/path/to/video.mp4"},
        ]
    }
]

# Conversation with audio only
conversation2 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "audio", "path": "/path/to/audio.wav"},
        ]
    }
]

# Conversation with pure text
conversation3 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [{"type": "text", "text": "who are you?"}],
    }
]

# Conversation with mixed media
conversation4 = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech."}
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "path": "/path/to/image.jpg"},
            {"type": "video", "path": "/path/to/video.mp4"},
            {"type": "audio", "path": "/path/to/audio.wav"},
            {"type": "text", "text": "What are the elements can you see and hear in these media?"},
        ],
    }
]

conversations = [conversation1, conversation2, conversation3, conversation4]

inputs = processor.apply_chat_template(
    conversations,
    load_audio_from_video=True,
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    fps=1,

    # kwargs to be passed to `Qwen3OmniMoeProcessor`
    padding=True,
    use_audio_in_video=True,
).to(model.thinker.device)

text_ids = model.generate(**inputs, use_audio_in_video=True)
text = processor.batch_decode(text_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)

print(text)
```

### Tạo âm thanh theo lô

[Qwen3OmniMoeForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeForConditionalGeneration) hỗ trợ tạo đầu ra âm thanh theo lô (batched). Ví dụ, dưới đây là tạo âm thanh từ văn bản theo lô. Với một lô gồm nhiều hơn một mẫu, âm thanh được tạo sẽ được trả về dưới dạng danh sách với một waveform cho mỗi mẫu, mỗi waveform đã được cắt gọn theo độ dài riêng của nó, do đó các mẫu ngắn hơn sẽ không bị đệm thêm âm thanh thừa. Một cuộc gọi chỉ với một mẫu vẫn trả về một tensor duy nhất.

```python
import soundfile as sf
from transformers import AutoModelForTextToWaveform, AutoProcessor
import torch

model_id = "Qwen/Qwen3-Omni-30B-A3B-Instruct"
model = AutoModelForTextToWaveform.from_pretrained(model_id, device_map="auto")
processor = AutoProcessor.from_pretrained(model_id)
sampling_rate = 24000  # output sampling rate
max_new_tokens = 128  # maximum number of tokens to generate

system_text = (
    "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of "
    "perceiving auditory and visual inputs, as well as generating text and speech."
)
texts = [
    "Hello, I'm Qwen. How can I help you today? Just let me know!",
    "The weather is nice today.",
]
inputs = processor.apply_chat_template(
    [
        [
            {"role": "system", "content": [{"type": "text", "text": system_text}]},
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": (
                            "Please read the following text aloud exactly as written, with no "
                            f"additional commentary:\n\n{text}"
                        ),
                    }
                ],
            },
        ]
        for text in texts
    ],
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt",
    processor_kwargs={"padding": True},
).to(model.device, dtype=model.dtype)

gen_kwargs = {
    "talker_do_sample": True,
    "speaker": "Ethan",     # Ethan, Chelsie
    "talker_max_new_tokens": max_new_tokens,
}
_, pred_waveform = model.generate(**inputs, **gen_kwargs)

for sample_id, audio in enumerate(pred_waveform):
    sf.write(f"qwen3_omni_output_{sample_id}.wav", audio.detach().to(torch.float32).cpu().numpy(), sampling_rate)
    print(f"Saved audio to qwen3_omni_output_{sample_id}.wav")
```

### Mẹo sử dụng

#### Sự đánh đổi về Độ phân giải ảnh

Mô hình hỗ trợ một phạm vi rộng các đầu vào độ phân giải. Mặc định, nó sử dụng độ phân giải gốc cho đầu vào, nhưng các độ phân giải cao hơn có thể cải thiện hiệu suất với chi phí là nhiều phép tính hơn. Người dùng có thể đặt số lượng pixel tối thiểu và tối thiểu để đạt được cấu hình tối ưu cho nhu cầu của mình.

```python
min_pixels = 128*28*28
max_pixels = 768*28*28
processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct", min_pixels=min_pixels, max_pixels=max_pixels)
```

#### Prompt cho đầu ra âm thanh

Nếu người dùng cần đầu ra âm thanh, prompt hệ thống phải được đặt là "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech.", nếu không đầu ra âm thanh có thể không hoạt động như mong đợi.

```json
{
    "role": "system",
    "content": "You are Qwen, a virtual human developed by the Qwen Team, Alibaba Group, capable of perceiving auditory and visual inputs, as well as generating text and speech.",
}
```

#### Sử dụng đầu ra âm thanh hay không

Mô hình hỗ trợ cả đầu ra văn bản và âm thanh. Nếu người dùng không cần đầu ra âm thanh, họ có thể đặt `enable_audio_output` trong hàm `from_pretrained`. Tùy chọn này sẽ tiết kiệm khoảng `~2GB` bộ nhớ GPU, nhưng tùy chọn `return_audio` của hàm `generate` sẽ chỉ cho phép đặt ở `False`.

```python
model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
    "Qwen/Qwen3-Omni-30B-A3B-Instruct",
    device_map="auto",
    enable_audio_output=False,
)
```

Để có trải nghiệm linh hoạt, chúng tôi khuyến nghị người dùng đặt `enable_audio_output` thành `True` khi khởi tạo mô hình thông qua hàm `from_pretrained`, sau đó quyết định có trả về âm thanh hay không khi gọi hàm `generate`. Khi `return_audio` được đặt thành `False`, mô hình sẽ chỉ trả về đầu ra dạng văn bản để nhận phản hồi văn bản nhanh hơn.

```python
model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
    "Qwen/Qwen3-Omni-30B-A3B-Instruct",
    device_map="auto",
    enable_audio_output=True,
)
...
text_ids = model.generate(**inputs, return_audio=False)
```

#### Thay đổi kiểu giọng của âm thanh đầu ra

Qwen3-Omni-MOE hỗ trợ khả năng thay đổi giọng nói của âm thanh đầu ra. Người dùng có thể sử dụng tham số `speaker` của hàm `generate` để chỉ định loại giọng nói. Checkpoint `"Qwen/Qwen3-Omni-30B-A3B-Instruct"` hỗ trợ hai loại giọng nói: `Chelsie` và `Ethan`, trong đó `Chelsie` là giọng nữ và `Ethan` là giọng nam. Mặc định, nếu không chỉ định `speaker`, loại giọng nói mặc định sẽ là `Chelsie`.

```python
text_ids, audio = model.generate(**inputs, speaker="Chelsie")
```

```python
text_ids, audio = model.generate(**inputs, speaker="Ethan")
```

#### Flash-Attention 2 để tăng tốc độ tạo

Đầu tiên, hãy đảm bảo cài đặt phiên bản mới nhất của Flash Attention 2:

```bash
pip install -U flash-attn --no-build-isolation
```

Ngoài ra, bạn cần có phần cứng tương thích với FlashAttention 2. Đọc thêm về điều này trong tài liệu chính thức của [flash attention repository](https://github.com/Dao-AILab/flash-attention). FlashAttention-2 chỉ có thể được sử dụng khi mô hình được nạp ở `torch.float16` hoặc `torch.bfloat16`.

Để tải và chạy một mô hình bằng FlashAttention-2, hãy thêm `attn_implementation="flash_attention_2"` khi tải mô hình:

```python
from transformers import Qwen3OmniMoeForConditionalGeneration

model = Qwen3OmniMoeForConditionalGeneration.from_pretrained(
    "Qwen/Qwen3-Omni-30B-A3B-Instruct",
    device_map="auto",
    attn_implementation="flash_attention_2",
)
```

## Qwen3OmniMoeConfig[[transformers.Qwen3OmniMoeConfig]]

#### transformers.Qwen3OmniMoeConfig[[transformers.Qwen3OmniMoeConfig]]

```python
transformers.Qwen3OmniMoeConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, thinker_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, talker_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, code2wav_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, enable_audio_output: bool = True, im_start_token_id: int = 151644, im_end_token_id: int = 151645, tts_pad_token_id: int = 151671, tts_bos_token_id: int = 151672, tts_eos_token_id: int = 151673, system_token_id: int = 8948, user_token_id: int = 872, assistant_token_id: int = 77091, initializer_range: float | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L539)

**Tham số:**

thinker_config (`dict`, *tùy chọn*) : Cấu hình của mô hình con thinker bên dưới.

talker_config (`dict`, *tùy chọn*) : Cấu hình của mô hình con talker bên dưới.

code2wav_config (`dict`, *tùy chọn*) : Cấu hình của mô hình con code2wav bên dưới.

enable_audio_output (`bool`, *tuỳ chọn*, mặc định là `True`) : Có bật đầu ra âm thanh và nạp module talker và code2wav hay không.

im_start_token_id (`int`, *tuỳ chọn*, mặc định là 151644) : Token id cho phần bắt đầu của hình ảnh

im_end_token_id (`int`, *tuỳ chọn*, mặc định là 151645) : Token id cho dấu kết thúc của hình ảnh

tts_pad_token_id (`int`, *tùy chọn*, mặc định là 151671) : Token id cho phần đệm trong TTS

tts_bos_token_id (`int`, *tuỳ chọn*, mặc định là 151672) : Token id cho phần bắt đầu của chuỗi trong TTS

tts_eos_token_id (`int`, *tuỳ chọn*, mặc định là 151673) : Token id cho dấu kết thúc chuỗi trong TTS của ảnh

system_token_id (`int`, *tùy chọn*, mặc định là 8948) : Id của token cho prompt hệ thống

user_token_id (`int`, *tùy chọn*, mặc định là 872) : Id của token cho prompt của người dùng

assistant_token_id (`int`, *tùy chọn*, mặc định là 77091) : Id của token cho prompt của trợ lý

initializer_range (`float`, *optional*) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

Đây là lớp cấu hình để lưu trữ cấu hình của một Qwen3 Omni MoeModel. Nó được sử dụng để khởi tạo một mô hình Qwen3 Omni Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Qwen/Qwen3-Omni-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import (
...     Qwen3OmniMoeThinkerConfig,
...     Qwen3OmniMoeTalkerConfig,
...     Qwen3OmniMoeCode2WavConfig,
...     Qwen3OmniMoeForConditionalGeneration,
...     Qwen3OmniMoeConfig,
... )

>>> # Initializing a Qwen3OmniMoe style configuration
>>> configuration = Qwen3OmniMoeConfig()

>>> # Initializing a model from the configuration
>>> model = Qwen3OmniMoeForConditionalGeneration(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

#### get_text_config[[transformers.Qwen3OmniMoeConfig.get_text_config]]

```python
get_text_config(decoder = False)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L613)

**Tham số:**

decoder (`Optional[bool]`, *tùy chọn*, mặc định là `False`) : Nếu được đặt thành `True`, thì chỉ tìm kiếm các tên cấu hình decoder.

Trả về cấu hình được thiết kế để sử dụng với IO văn bản. Trên hầu hết các mô hình, đây chính là bản thân instance cấu hình gốc. Trên một số mô hình composite cụ thể, nó nằm dưới một tập hợp các tên hợp lệ.

## Qwen3OmniMoeThinkerConfig[[transformers.Qwen3OmniMoeThinkerConfig]]

#### transformers.Qwen3OmniMoeThinkerConfig[[transformers.Qwen3OmniMoeThinkerConfig]]

```python
transformers.Qwen3OmniMoeThinkerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, audio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, vision_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, position_id_per_seconds: int = 25, audio_start_token_id: int = 151647, user_token_id: int = 872, initializer_range: float = 0.02, tie_word_embeddings: bool = False, audio_token_id: int = 151646, image_token_id: int = 151655, video_token_id: int = 151656)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L195)

**Tham số:**

audio_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *tùy chọn*) : Đối tượng config hoặc từ điển của audio backbone.

vision_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *tùy chọn*) : Đối tượng config hoặc từ điển của vision backbone.

text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *tùy chọn*) : Đối tượng config hoặc từ điển của text backbone.

position_id_per_seconds (`int`, *tuỳ chọn*, mặc định là 25) : Bước tăng của position id mỗi giây.

audio_start_token_id (`int`, *tuỳ chọn*, mặc định là 151647) : id của token bắt đầu âm thanh để mã hóa prompt âm thanh.

user_token_id (`int`, *tuỳ chọn*, mặc định là 872) : id của token người dùng để mã hóa token người dùng.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

tie_word_embeddings (`bool`, *tùy chọn*, mặc định là `False`) : Có nên gắn kết các nhúng trọng số theo ánh xạ `tied_weights_keys` của mô hình hay không.

audio_token_id (`int`, *tuỳ chọn*, mặc định là `151646`) : Chỉ số token âm thanh được dùng làm ký tự thay thế cho âm thanh đầu vào.

image_token_id (`int`, *tuỳ chọn*, mặc định là `151655`) : Chỉ số token hình ảnh được dùng làm ký tự thay thế cho các hình ảnh đầu vào.

video_token_id (`int`, *tuỳ chọn*, mặc định là `151656`) : Chỉ số token video được dùng làm ký tự thay thế cho các video đầu vào.

Đây là lớp cấu hình để lưu trữ cấu hình của một Qwen3 Omni MoeModel. Nó được sử dụng để khởi tạo một mô hình Qwen3 Omni Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Qwen/Qwen3-Omni-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import Qwen3OmniMoeThinkerModel, Qwen3OmniMoeThinkerConfig

>>> # Initializing a default Qwen3OmniMoeThinkerConfig
>>> configuration = Qwen3OmniMoeThinkerConfig()

>>> # Initializing a model (with random weights) from the default configuration
>>> model = Qwen3OmniMoeThinkerModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Qwen3OmniMoeTalkerConfig[[transformers.Qwen3OmniMoeTalkerConfig]]

#### transformers.Qwen3OmniMoeTalkerConfig[[transformers.Qwen3OmniMoeTalkerConfig]]

```python
transformers.Qwen3OmniMoeTalkerConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, code_predictor_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, text_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None, num_code_groups: int = 32, thinker_hidden_size: int = 2048, codec_eos_token_id: int = 4198, accept_hidden_layer: int = 18, codec_nothink_id: int = 4203, codec_think_bos_id: int = 4204, codec_think_eos_id: int = 4205, codec_pad_id: int = 4196, codec_bos_id: int = 4197, audio_token_id: int = 151646, image_token_id: int = 151655, video_token_id: int = 151656, vision_start_token_id: int = 151652, position_id_per_seconds: int = 25, audio_start_token_id: int = 151669, speaker_id: dict | None = None, initializer_range: float = 0.02, tie_word_embeddings: bool = False)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L404)

**Tham số:**

code_predictor_config (`dict`, *tùy chọn*) : Một từ điển các tham số cấu hình được sử dụng để khởi tạo một [Qwen3OmniMoeTalkerCodePredictorConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerCodePredictorConfig). Nếu không được cung cấp, các giá trị mặc định sẽ được sử dụng.

text_config (`Union[dict, ~configuration_utils.PreTrainedConfig]`, *tùy chọn*) : Đối tượng config hoặc từ điển của text backbone.

num_code_groups (`int`, *optional*, mặc định là 32) : Số lượng nhóm codebook được sử dụng trong chuỗi token âm thanh dự đoán, tương ứng với biểu diễn VQ đa codebook.

thinker_hidden_size (`int`, *tuỳ chọn*, mặc định là 2048) : Kích thước chiều ẩn của module thinker được sử dụng cho suy luận trung gian hoặc lập kế hoạch tiềm ẩn trước khi tạo âm thanh.

codec_eos_token_id (`int`, *tuỳ chọn*, mặc định là 4198) : ID của token đại diện cho token kết thúc giọng nói trong chuỗi do codec tạo ra.

accept_hidden_layer (`int`, *tuỳ chọn*, mặc định là 18) : Chỉ số của lớp ẩn mà đầu ra của nó được sử dụng để chấp nhận hoặc tinh chỉnh các token được tạo ra trong quá trình think-and-speak.

codec_nothink_id (`int`, *tuỳ chọn*, mặc định là 4203) : Token ID cho biết không cần bước suy nghĩ trong quá trình sinh.

codec_think_bos_id (`int`, *tuỳ chọn*, mặc định là 4204) : Token ID đánh dấu sự bắt đầu của một chuỗi suy nghĩ.

codec_think_eos_id (`int`, *tuỳ chọn*, mặc định là 4205) : Token ID đánh dấu kết thúc của một chuỗi suy nghĩ.

codec_pad_id (`int`, *tuỳ chọn*, mặc định là 4196) : ID của token padding được sử dụng trong các chuỗi đầu vào của codec.

codec_bos_id (`int`, *optional*, mặc định là 4197) : ID của token bắt đầu giọng nói trong các chuỗi codec.

audio_token_id (`int`, *tuỳ chọn*, mặc định là `151646`) : Chỉ số token âm thanh được dùng làm ký tự thay thế cho âm thanh đầu vào.

image_token_id (`int`, *tuỳ chọn*, mặc định là `151655`) : Chỉ số token hình ảnh được dùng làm ký tự thay thế cho các hình ảnh đầu vào.

video_token_id (`int`, *tuỳ chọn*, mặc định là `151656`) : Chỉ số token video được dùng làm ký tự thay thế cho các video đầu vào.

vision_start_token_id (`int`, *tùy chọn*, mặc định là `151652`) : Token ID đánh dấu bắt đầu của một đoạn thị giác trong chuỗi đầu vào đa phương thức.

position_id_per_seconds (`int`, *optional*, mặc định là 25) : Số lượng ID vị trí được cấp phát cho mỗi giây nội dung âm thanh, được sử dụng để căn chỉnh theo thời gian trong quá trình sinh.

audio_start_token_id (`int`, *tùy chọn*, mặc định là 151669) : Token ID chỉ báo hiệu bắt đầu một đoạn tạo âm thanh trong đầu ra.

speaker_id (`dict`, *tùy chọn*) : Từ điển ánh xạ tên người nói sang id người nói.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

tie_word_embeddings (`bool`, *tùy chọn*, mặc định là `False`) : Có nên gắn kết các nhúng trọng số theo ánh xạ `tied_weights_keys` của mô hình hay không.

Đây là lớp cấu hình để lưu trữ cấu hình của một Qwen3 Omni MoeModel. Nó được sử dụng để khởi tạo một mô hình Qwen3 Omni Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Qwen/Qwen3-Omni-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

Ví dụ:

```python
>>> from transformers import Qwen3OmniMoeTalkerConfig, Qwen3OmniMoeTalker

>>> # Initialize a Qwen3OmniMoeTalkerConfig with default sub-configurations
>>> config = Qwen3OmniMoeTalkerConfig(
...     num_code_groups=32,
...     thinker_hidden_size=2048,
... )

>>> # Initialize the full Qwen3-Omni Talker model
>>> model = Qwen3OmniMoeTalker(config)

>>> # Access the model configuration
>>> config = model.config
>>> print(config.text_config)  # Access text decoder configuration
>>> print(config.code_predictor_config)  # Access code predictor configuration
```

## Qwen3OmniMoeTextConfig[[transformers.Qwen3OmniMoeTextConfig]]

#### transformers.Qwen3OmniMoeTextConfig[[transformers.Qwen3OmniMoeTextConfig]]

```python
transformers.Qwen3OmniMoeTextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 3584, hidden_size: int = 2048, intermediate_size: int = 18944, num_hidden_layers: int = 28, num_attention_heads: int = 28, num_key_value_heads: int = 4, hidden_act: str = 'silu', max_position_embeddings: int = 32768, initializer_range: float = 0.02, rms_norm_eps: float = 1e-06, use_cache: bool = True, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, sliding_window: int | None = None, attention_dropout: float | int = 0.0, decoder_sparse_step: int = 1, moe_intermediate_size: int = 768, num_experts_per_tok: int = 8, num_experts: int = 128, norm_topk_prob: bool = True, output_router_logits: bool = False, router_aux_loss_coef: float = 0.001, mlp_only_layers: list[int] | None = None, pad_token_id: int | None = None, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L109)

**Tham số:**

vocab_size (`int`, *tùy chọn*, mặc định là `3584`) : Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi `input_ids`.

hidden_size (`int`, *tuỳ chọn*, mặc định là `2048`) : Kích thước của các biểu diễn ẩn.

intermediate_size (`int`, *tuỳ chọn*, mặc định là `18944`) : Kích thước của các biểu diễn MLP.

num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `28`) : Số lượng lớp ẩn trong bộ giải mã Transformer.

num_attention_heads (`int`, *tùy chọn*, mặc định là `28`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

num_key_value_heads (`int`, *optional*, mặc định là `4`) : Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếu `num_key_value_heads=num_attention_heads`, mô hình sẽ sử dụng Multi Head Attention (MHA), nếu `num_key_value_heads=1` mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại GQA sẽ được sử dụng. Khi chuyển đổi một checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem [bài báo này](https://huggingface.co/papers/2305.13245). Nếu không được chỉ định, giá trị mặc định sẽ là `num_attention_heads`.

hidden_act (`str`, *tùy chọn*, mặc định là `silu`) : Hàm kích hoạt phi tuyến tính (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

max_position_embeddings (`int`, *tuỳ chọn*, mặc định là `32768`) : Độ dài chuỗi tối đa mà mô hình này có thể được sử dụng.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

rms_norm_eps (`float`, *tuỳ chọn*, mặc định là `1e-06`) : Epsilon được sử dụng bởi các lớp chuẩn hóa rms.

use_cache (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu `config.is_decoder=True` hoặc khi mô hình là mô hình sinh chỉ có decoder.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho `rope_theta` và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với `max_position_embeddings` dài hơn.

attention_bias (`bool`, *tùy chọn*, mặc định là `False`) : Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không.

sliding_window (`int`, *optional*) : Kích thước cửa sổ của chú ý cửa sổ trượt. Nếu là `None`, sẽ không áp dụng cửa sổ trượt.

attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý.

decoder_sparse_step (`int`, *tuỳ chọn*, mặc định là 1) : Tần số của lớp MoE.

moe_intermediate_size (`int`, *tuỳ chọn*, mặc định là `768`) : Kích thước trung gian của các MLP chuyên gia được định tuyến.

num_experts_per_tok (`int`, *optional*, mặc định là `8`) : Số lượng chuyên gia để định tuyến mỗi token. Đây là giá trị top-k cho việc định tuyến chọn token.

num_experts (`int`, *tuỳ chọn*, mặc định là `128`) : Số lượng chuyên gia được định tuyến trong các lớp MoE.

norm_topk_prob (`bool`, *tùy chọn*, mặc định là `True`) : Có nên chuẩn hóa trọng số của các chuyên gia được định tuyến hay không.

output_router_logits (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem có nên trả về logits của router từ mô hình hay không. Bật tùy chọn này cũng cho phép mô hình xuất ra tổn thất bổ trợ, bao gồm tổn thất cân bằng tải và tổn thất z của router.

router_aux_loss_coef (`float`, *tùy chọn*, mặc định là `0.001`) : Hệ số tổn thất cân bằng tải phụ. Được sử dụng để phạt việc định tuyến chuyên gia không đồng đều trong các mô hình MoE.

mlp_only_layers (`list[int]`, *optional*, mặc định là `[]`) : Chỉ định các lớp nào sử dụng Qwen3OmniMoeTextMLP thay vì Qwen3OmniMoeTextSparseMoeBlock. Danh sách chứa chỉ số lớp, từ 0 đến num_layers-1 nếu chúng ta có num_layers lớp. Nếu `mlp_only_layers` rỗng, `decoder_sparse_step` sẽ được sử dụng để xác định độ thưa.

pad_token_id (`int`, *tùy chọn*) : Id của token được sử dụng để đệm (padding) trong từ vựng.

bos_token_id (`int`, *tùy chọn*) : Id của token được sử dụng cho đầu luồng trong bảng từ vựng.

eos_token_id (`Union[int, list[int]]`, *tùy chọn*) : Id của token được sử dụng cho end-of-stream trong bảng từ vựng.

Đây là lớp cấu hình để lưu trữ cấu hình của một Qwen3 Omni MoeModel. Nó được sử dụng để khởi tạo một mô hình Qwen3 Omni Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Qwen/Qwen3-Omni-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

```python
>>> from transformers import Qwen3OmniMoeTextModel, Qwen3OmniMoeTextConfig

>>> # Initializing a Qwen3OmniMoeText style configuration
>>> configuration = Qwen3OmniMoeTextConfig()

>>> # Initializing a model from the Qwen3-15B-A2B" style configuration
>>> model = Qwen3OmniMoeTextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Qwen3OmniMoeVisionEncoderConfig[[transformers.Qwen3OmniMoeVisionEncoderConfig]]

#### transformers.Qwen3OmniMoeVisionEncoderConfig[[transformers.Qwen3OmniMoeVisionEncoderConfig]]

```python
transformers.Qwen3OmniMoeVisionEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, depth: int = 27, hidden_size: int = 1152, hidden_act: str = 'gelu_pytorch_tanh', intermediate_size: int = 4304, num_heads: int = 16, in_channels: int = 3, patch_size: int | list[int] | tuple[int, int] = 16, spatial_merge_size: int = 2, temporal_patch_size: int | list[int] | tuple[int, int] = 2, out_hidden_size: int = 3584, num_position_embeddings: int = 2304, deepstack_visual_indexes: list[int] | tuple[int, ...] = (8, 16, 24), initializer_range: float = 0.02, rope_parameters: dict | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L76)

**Tham số:**

depth (`int`, *tuỳ chọn*, mặc định là `27`) : Số lượng lớp Transformer trong bộ mã hóa thị giác.

hidden_size (`int`, *tuỳ chọn*, mặc định là `1152`) : Kích thước của các biểu diễn ẩn.

hidden_act (`str`, *tùy chọn*, mặc định là `gelu_pytorch_tanh`) : Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

intermediate_size (`int`, *tuỳ chọn*, mặc định là `4304`) : Kích thước của các biểu diễn MLP.

num_heads (`int`, *tuỳ chọn*, mặc định là `16`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

in_channels (`int`, *tuỳ chọn*, mặc định là `3`) : Số lượng kênh đầu vào.

patch_size (`Union[int, list[int], tuple[int, int]]`, *tùy chọn*, mặc định là `16`) : Kích thước (độ phân giải) của mỗi patch.

spatial_merge_size (`int`, *tuỳ chọn*, mặc định là `2`) : Kích thước của cửa sổ hợp nhất không gian được sử dụng để giảm số lượng token thị giác bằng cách hợp nhất các patch lân cận.

temporal_patch_size (`Union[int, list[int], tuple[int, int]]`, *tùy chọn*, mặc định là `2`) : Kích thước patch thời gian được sử dụng trong nhúng patch 3D cho đầu vào video.

out_hidden_size (`int`, *optional*, mặc định là 3584) : Kích thước ẩn đầu ra của mô hình thị giác.

num_position_embeddings (`int`, *tuỳ chọn*, mặc định là 2304) : Độ dài chuỗi tối đa mà mô hình này có thể được sử dụng

deepstack_visual_indexes (`list[int]`, *tùy chọn*, mặc định là `[8, 16, 24]`) : Chỉ số của các lớp cho deepstack embeddings.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

rope_parameters (`dict`, *tùy chọn*) : Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho `rope_theta` và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với `max_position_embeddings` dài hơn.

Đây là lớp cấu hình để lưu trữ cấu hình của một Qwen3 Omni MoeModel. Nó được sử dụng để khởi tạo một mô hình Qwen3 Omni Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Qwen/Qwen3-Omni-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## Qwen3OmniMoeAudioEncoderConfig[[transformers.Qwen3OmniMoeAudioEncoderConfig]]

#### transformers.Qwen3OmniMoeAudioEncoderConfig[[transformers.Qwen3OmniMoeAudioEncoderConfig]]

```python
transformers.Qwen3OmniMoeAudioEncoderConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, num_mel_bins: int = 128, encoder_layers: int = 32, encoder_attention_heads: int = 20, encoder_ffn_dim: int = 5120, d_model: int = 1280, dropout: float | int = 0.0, attention_dropout: float | int = 0.0, activation_function: str = 'gelu', activation_dropout: float | int = 0.0, scale_embedding: bool = False, initializer_range: float = 0.02, max_source_positions: int = 1500, n_window: int = 50, output_dim: int = 3584, n_window_infer: int = 800, conv_chunksize: int = 500, downsample_hidden_size: int = 480)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L30)

**Tham số:**

num_mel_bins (`int`, *tuỳ chọn*, mặc định là `128`) : Số lượng đặc trưng mel được sử dụng cho mỗi khung đầu vào. Cần khớp với giá trị được dùng trong lớp `AutoFeatureExtractor`.

encoder_layers (`int`, *tuỳ chọn*, mặc định là `32`) : Số lượng lớp ẩn trong bộ mã hóa Transformer. Sẽ sử dụng cùng giá trị với `num_layers` nếu không được đặt.

encoder_attention_heads (`int`, *tuỳ chọn*, mặc định là `20`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ mã hóa Transformer.

encoder_ffn_dim (`int`, *tuỳ chọn*, mặc định là `5120`) : Độ lớn chiều của lớp "trung gian" (thường được gọi là lớp feed-forward) trong encoder.

d_model (`int`, *tuỳ chọn*, mặc định là `1280`) : Kích thước của các lớp encoder và lớp pooler.

dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ cho tất cả các lớp dropout.

attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý.

activation_function (`str`, *tùy chọn*, mặc định là `gelu`) : Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

activation_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ.

scale_embedding (`bool`, *tùy chọn*, mặc định là `False`) : Có nên chia embeddings cho sqrt(d_model) để chuẩn hóa hay không.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

max_source_positions (`int`, *tuỳ chọn*, mặc định là 1500) : Độ dài tối đa của chuỗi cho các đầu vào

n_window (`int`, *tuỳ chọn*, mặc định là 50) : Số lượng cửa sổ

output_dim (`int`, *tuỳ chọn*, mặc định là 3584) : Độ lớn chiều của đầu ra

n_window_infer (`int`, *tùy chọn*, mặc định là `800`) : Số lượng cửa sổ trong quá trình suy luận

conv_chunksize (`int`, *tuỳ chọn*, mặc định là `500`) : Kích thước chunk của mỗi đầu vào cho lớp tích chập

downsample_hidden_size (`int`, *tùy chọn*, mặc định là `480`) : Kích thước ẩn trong lớp hạ mẫu

Đây là lớp cấu hình để lưu trữ cấu hình của một Qwen3 Omni MoeModel. Nó được sử dụng để khởi tạo một mô hình Qwen3 Omni Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Qwen/Qwen3-Omni-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## Qwen3OmniMoeTalkerTextConfig[[transformers.Qwen3OmniMoeTalkerTextConfig]]

#### transformers.Qwen3OmniMoeTalkerTextConfig[[transformers.Qwen3OmniMoeTalkerTextConfig]]

```python
transformers.Qwen3OmniMoeTalkerTextConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 3072, hidden_size: int = 1024, intermediate_size: int = 2048, num_hidden_layers: int = 20, num_attention_heads: int = 16, num_key_value_heads: int = 2, hidden_act: str = 'silu', max_position_embeddings: int = 32768, initializer_range: float = 0.02, rms_norm_eps: float = 1e-06, use_cache: bool = True, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, sliding_window: int | None = None, attention_dropout: float | int = 0.0, decoder_sparse_step: int = 1, moe_intermediate_size: int = 384, num_experts_per_tok: int = 8, num_experts: int = 128, norm_topk_prob: bool = False, output_router_logits: bool = False, router_aux_loss_coef: float = 0.001, mlp_only_layers: list[int] | None = None, pad_token_id: int | None = None, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L312)

**Tham số:**

vocab_size (`int`, *tùy chọn*, mặc định là `3072`) : Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi `input_ids`.

hidden_size (`int`, *tuỳ chọn*, mặc định là `1024`) : Kích thước của các biểu diễn ẩn.

intermediate_size (`int`, *tuỳ chọn*, mặc định là `2048`) : Kích thước của các biểu diễn MLP.

num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `20`) : Số lượng lớp ẩn trong bộ giải mã Transformer.

num_attention_heads (`int`, *tuỳ chọn*, mặc định là `16`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

num_key_value_heads (`int`, *optional*, mặc định là `2`) : Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếu `num_key_value_heads=num_attention_heads`, mô hình sẽ sử dụng Multi Head Attention (MHA), nếu `num_key_value_heads=1` mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại GQA sẽ được sử dụng. Khi chuyển đổi một checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem [bài báo này](https://huggingface.co/papers/2305.13245). Nếu không được chỉ định, giá trị mặc định sẽ là `num_attention_heads`.

hidden_act (`str`, *tùy chọn*, mặc định là `silu`) : Hàm kích hoạt phi tuyến tính (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

max_position_embeddings (`int`, *tuỳ chọn*, mặc định là `32768`) : Độ dài chuỗi tối đa mà mô hình này có thể được sử dụng.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

rms_norm_eps (`float`, *tuỳ chọn*, mặc định là `1e-06`) : Epsilon được sử dụng bởi các lớp chuẩn hóa rms.

use_cache (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu `config.is_decoder=True` hoặc khi mô hình là mô hình sinh chỉ có decoder.

tie_word_embeddings (`bool`, *tùy chọn*, mặc định là `False`) : Có nên gắn kết các nhúng trọng số theo ánh xạ `tied_weights_keys` của mô hình hay không.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho `rope_theta` và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với `max_position_embeddings` dài hơn.

attention_bias (`bool`, *tùy chọn*, mặc định là `False`) : Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không.

sliding_window (`int`, *optional*) : Kích thước cửa sổ của chú ý cửa sổ trượt. Nếu là `None`, sẽ không áp dụng cửa sổ trượt.

attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý.

decoder_sparse_step (`int`, *tuỳ chọn*, mặc định là 1) : Tần số của lớp MoE.

moe_intermediate_size (`int`, *tuỳ chọn*, mặc định là `384`) : Kích thước trung gian của các MLP chuyên gia được định tuyến.

num_experts_per_tok (`int`, *optional*, mặc định là `8`) : Số lượng chuyên gia để định tuyến mỗi token. Đây là giá trị top-k cho việc định tuyến chọn token.

num_experts (`int`, *tuỳ chọn*, mặc định là `128`) : Số lượng chuyên gia được định tuyến trong các lớp MoE.

norm_topk_prob (`bool`, *tùy chọn*, mặc định là `False`) : Có nên chuẩn hóa trọng số của các chuyên gia được định tuyến hay không.

output_router_logits (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem có nên trả về logits của router từ mô hình hay không. Bật tùy chọn này cũng cho phép mô hình xuất ra tổn thất bổ trợ, bao gồm tổn thất cân bằng tải và tổn thất z của router.

router_aux_loss_coef (`float`, *tùy chọn*, mặc định là `0.001`) : Hệ số tổn thất cân bằng tải phụ. Được sử dụng để phạt việc định tuyến chuyên gia không đồng đều trong các mô hình MoE.

mlp_only_layers (`list[int]`, *optional*, mặc định là `[]`) : Chỉ định các lớp nào sử dụng Qwen3OmniMoeTalkerTextMLP thay vì Qwen3OmniMoeTalkerTextSparseMoeBlock. Danh sách chứa chỉ số lớp, từ 0 đến num_layers-1 nếu có num_layers lớp. Nếu `mlp_only_layers` rỗng, `decoder_sparse_step` sẽ được sử dụng để xác định độ thưa.

pad_token_id (`int`, *tùy chọn*) : Id của token được sử dụng để đệm (padding) trong từ vựng.

bos_token_id (`int`, *tùy chọn*) : Id của token được sử dụng cho đầu luồng trong bảng từ vựng.

eos_token_id (`Union[int, list[int]]`, *tùy chọn*) : Id của token được sử dụng cho end-of-stream trong bảng từ vựng.

Đây là lớp cấu hình để lưu trữ cấu hình của một Qwen3 Omni MoeModel. Nó được sử dụng để khởi tạo một mô hình Qwen3 Omni Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Qwen/Qwen3-Omni-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

```python
>>> from transformers import Qwen3OmniMoeTalkerTextModel, Qwen3OmniMoeTalkerTextConfig

>>> # Initializing a Qwen3OmniMoeTalkerText style configuration
>>> configuration = Qwen3OmniMoeTalkerTextConfig()

>>> # Initializing a model from the Qwen3-15B-A2B" style configuration
>>> model = Qwen3OmniMoeTalkerTextModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## Qwen3OmniMoeTalkerCodePredictorConfig[[transformers.Qwen3OmniMoeTalkerCodePredictorConfig]]

#### transformers.Qwen3OmniMoeTalkerCodePredictorConfig[[transformers.Qwen3OmniMoeTalkerCodePredictorConfig]]

```python
transformers.Qwen3OmniMoeTalkerCodePredictorConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 2048, hidden_size: int = 1024, intermediate_size: int = 3072, num_hidden_layers: int = 5, num_attention_heads: int = 16, num_key_value_heads: int = 8, head_dim: int = 128, hidden_act: str = 'silu', max_position_embeddings: int = 32768, initializer_range: float = 0.02, rms_norm_eps: float = 1e-06, use_cache: bool = True, tie_word_embeddings: bool = False, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None, attention_bias: bool = False, sliding_window: int | None = None, max_window_layers: int = 28, layer_types: list[str] | None = None, attention_dropout: float | int = 0.0, pad_token_id: int | None = None, bos_token_id: int | None = None, eos_token_id: int | list[int] | None = None, num_code_groups: int = 32)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/configuration_qwen3_omni_moe.py#L244)

**Tham số:**

vocab_size (`int`, *tùy chọn*, mặc định là `2048`) : Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi `input_ids`.

hidden_size (`int`, *tuỳ chọn*, mặc định là `1024`) : Kích thước của các biểu diễn ẩn.

intermediate_size (`int`, *tuỳ chọn*, mặc định là `3072`) : Kích thước của các biểu diễn MLP.

num_hidden_layers (`int`, *tuỳ chọn*, mặc định là `5`) : Số lượng lớp ẩn trong bộ giải mã Transformer.

num_attention_heads (`int`, *tuỳ chọn*, mặc định là `16`) : Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.

num_key_value_heads (`int`, *optional*, mặc định là `8`) : Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếu `num_key_value_heads=num_attention_heads`, mô hình sẽ sử dụng Multi Head Attention (MHA), nếu `num_key_value_heads=1` mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại GQA sẽ được sử dụng. Khi chuyển đổi một checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem [bài báo này](https://huggingface.co/papers/2305.13245). Nếu không được chỉ định, giá trị mặc định sẽ là `num_attention_heads`.

head_dim (`int`, *tùy chọn*, mặc định là `128`) : Kích thước chiều đầu chú ý. Nếu là None, giá trị mặc định sẽ là hidden_size // num_attention_heads

hidden_act (`str`, *tùy chọn*, mặc định là `silu`) : Hàm kích hoạt phi tuyến tính (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, `"gelu"`, `"relu"`, `"silu"`, v.v.

max_position_embeddings (`int`, *tuỳ chọn*, mặc định là `32768`) : Độ dài chuỗi tối đa mà mô hình này có thể được sử dụng.

initializer_range (`float`, *optional*, mặc định là `0.02`) : Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.

rms_norm_eps (`float`, *tuỳ chọn*, mặc định là `1e-06`) : Epsilon được sử dụng bởi các lớp chuẩn hóa rms.

use_cache (`bool`, *tùy chọn*, mặc định là `True`) : Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu `config.is_decoder=True` hoặc khi mô hình là mô hình sinh chỉ có decoder.

tie_word_embeddings (`bool`, *tùy chọn*, mặc định là `False`) : Có nên gắn kết các nhúng trọng số theo ánh xạ `tied_weights_keys` của mô hình hay không.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *optional*) : Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị cho `rope_theta` và tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE với `max_position_embeddings` dài hơn.

attention_bias (`bool`, *tùy chọn*, mặc định là `False`) : Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không.

sliding_window (`int`, *optional*) : Kích thước cửa sổ của chú ý cửa sổ trượt. Nếu là `None`, sẽ không áp dụng cửa sổ trượt.

max_window_layers (`int`, *optional*, mặc định là `28`) : Số lượng lớp sử dụng full attention. `max_window_layers` lớp đầu tiên sẽ sử dụng full attention, trong khi bất kỳ lớp nào thêm vào sau đó sẽ sử dụng SWA (Sliding Window Attention).

layer_types (`list[str]`, *tùy chọn*) : Một danh sách ánh xạ rõ ràng từng chỉ số lớp với loại lớp của nó. Nếu không được cung cấp, danh sách này sẽ được tạo tự động dựa trên các giá trị cấu hình.

attention_dropout (`Union[float, int]`, *tùy chọn*, mặc định là `0.0`) : Tỷ lệ dropout cho các xác suất chú ý.

pad_token_id (`int`, *tùy chọn*) : Id của token được sử dụng để đệm (padding) trong từ vựng.

bos_token_id (`int`, *tùy chọn*) : Id của token được sử dụng cho đầu luồng trong bảng từ vựng.

eos_token_id (`Union[int, list[int]]`, *tùy chọn*) : Id của token được sử dụng cho end-of-stream trong bảng từ vựng.

num_code_groups (`int`, *optional*, mặc định là 32) : Số lượng nhóm codebook được sử dụng trong chuỗi token âm thanh dự đoán, tương ứng với biểu diễn VQ đa codebook.

Đây là lớp cấu hình để lưu trữ cấu hình của một Qwen3 Omni MoeModel. Nó được sử dụng để khởi tạo một mô hình Qwen3 Omni Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của [Qwen/Qwen3-Omni-30B-A3B-Instruct](https://huggingface.co/Qwen/Qwen3-Omni-30B-A3B-Instruct)

Các đối tượng cấu hình kế thừa từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ [PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig) để biết thêm thông tin.

## Qwen3OmniMoeForConditionalGeneration[[transformers.Qwen3OmniMoeForConditionalGeneration]]

#### transformers.Qwen3OmniMoeForConditionalGeneration[[transformers.Qwen3OmniMoeForConditionalGeneration]]

```python
transformers.Qwen3OmniMoeForConditionalGeneration(config: Qwen3OmniMoeConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L3950)

## Qwen3OmniMoeThinkerTextModel[[transformers.Qwen3OmniMoeThinkerTextModel]]

#### transformers.Qwen3OmniMoeThinkerTextModel[[transformers.Qwen3OmniMoeThinkerTextModel]]

```python
transformers.Qwen3OmniMoeThinkerTextModel(config: Qwen3OmniMoeTextConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L1623)

**Tham số:**

config ([Qwen3OmniMoeTextConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTextConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Phần văn bản của Qwen3OmniMoeThinker, không phải là mô hình chỉ thuần văn bản, vì DeepStack tích hợp các đặc trưng thị giác vào các trạng thái ẩn ban đầu.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Qwen3OmniMoeThinkerTextModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, visual_pos_masks: typing.Optional[torch.Tensor] = None, deepstack_visual_embeds: list[torch.Tensor] | None = None, **kwargs: *<class 'transformers.modeling_flash_attention_utils.FlashAttentionKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L1648)

**Tham số:**

input_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

position_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các embedding vị trí. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

visual_pos_masks (`torch.Tensor` có hình dạng `(batch_size, seqlen)`, *tùy chọn*) : Mặt nạ của các vị trí thị giác.

deepstack_visual_embeds (`list[torch.Tensor]`, *tùy chọn*) : Các embedding thị giác deepstack. Hình dạng là (num_layers, visual_seqlen, embed_dim). Đặc trưng được trích xuất từ các lớp encoder thị giác khác nhau và được đưa vào các trạng thái ẩn của decoder. Nó đến từ bài báo DeepStack(https://arxiv.org/abs/2406.04334).

**Trả về:** `MoeModelOutputWithPast` hoặc `tuple(torch.Tensor)`

Một `MoeModelOutputWithPast` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

Phương thức forward của [Qwen3OmniMoeThinkerTextModel](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeThinkerTextModel) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu `config.is_encoder_decoder=True` trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **router_logits** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_router_probs=True` và `config.add_router_probs=True` được truyền vào hoặc khi `config.output_router_probs=True`) -- Bộ ba `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, sequence_length, num_experts)`.

  Logits thô (sau softmax) được tính bởi các router MoE, các thuật ngữ này được sử dụng để tính toán tổn thất bổ trợ cho các mô hình Mixture of Experts.

## Qwen3OmniMoeThinkerModel[[transformers.Qwen3OmniMoeThinkerModel]]

#### transformers.Qwen3OmniMoeThinkerModel[[transformers.Qwen3OmniMoeThinkerModel]]

```python
transformers.Qwen3OmniMoeThinkerModel(config: Qwen3OmniMoeThinkerConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L1752)

**Tham số:**

config ([Qwen3OmniMoeThinkerConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeThinkerConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Qwen2.5OmniThinker bao gồm một bộ khung âm thanh và một mô hình ngôn ngữ.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Qwen3OmniMoeThinkerModel.forward]]

```python
forward(input_ids = None, input_features = None, pixel_values = None, pixel_values_videos = None, image_grid_thw = None, video_grid_thw = None, attention_mask = None, feature_attention_mask = None, audio_feature_lengths = None, position_ids = None, past_key_values = None, inputs_embeds = None, use_cache = None, output_router_logits: bool | None = None, use_audio_in_video = None, video_second_per_grid = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L1935)

**Tham số:**

input_ids (`` of shape `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào trong từ vựng. Mặc định, padding sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

input_features (`` of shape `(batch_size, sequence_length, feature_dim)`) : Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng cách sử dụng [WhisperFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/whisper#transformers.WhisperFeatureExtractor). Xem [WhisperFeatureExtractor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/whisper#transformers.WhisperFeatureExtractor.__call__) để biết chi tiết ([Qwen3OmniMoeProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeProcessor) sử dụng [WhisperFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/whisper#transformers.WhisperFeatureExtractor) để xử lý âm thanh).

pixel_values (`` of shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Qwen2VLImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor). Xem [Qwen2VLImageProcessor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết ([Qwen3OmniMoeProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeProcessor) sử dụng [Qwen2VLImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor) để xử lý ảnh).

pixel_values_videos (`` of shape `(batch_size, num_frames, num_channels, frame_size, frame_size)`) : Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng [Qwen2VLVideoProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor). Xem [Qwen2VLVideoProcessor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) để biết chi tiết ([Qwen3OmniMoeProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeProcessor) sử dụng [Qwen2VLVideoProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor) để xử lý video).

image_grid_thw (`` of shape `(num_images, 3)`) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi hình ảnh trong LLM.

video_grid_thw (`` of shape `(num_videos, 3)`) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi video trong LLM.

attention_mask (`` of shape `(batch_size, sequence_length)`) : Mask to avoid performing attention on padding token indices. Mask values selected in `[0, 1]`:  - 1 for tokens that are **not masked**, - 0 for tokens that are **masked**.  [What are attention masks?](../glossary#attention-mask)

feature_attention_mask (`torch.Tensor` có shape `(batch_size, feature_sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ mục đặc trưng đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.

audio_feature_lengths (`torch.LongTensor` có hình dạng `(num_audios)`, *tùy chọn*) : Độ dài của hình dạng đặc trưng của mỗi âm thanh trong LLM.

position_ids (`` of shape `(batch_size, sequence_length)`) : Indices of positions of each input sequence tokens in the position embeddings. Selected in the range `[0, config.n_positions - 1]`.  [Các ID vị trí là gì?](../glossary#position-ids)

past_key_values (``) : Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in the `past_key_values` returned by the model at a previous stage of decoding, when `use_cache=True` or `config.use_cache=True`.  Only [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance is allowed as input, see our [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache). If no `past_key_values` are passed, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) will be initialized by default.  The model will output the same cache format that is fed as input.  If `past_key_values` are used, the user is expected to input only unprocessed `input_ids` (those that don't have their past key value states given to this model) of shape `(batch_size, unprocessed_length)` instead of all `input_ids` of shape `(batch_size, sequence_length)`.

inputs_embeds (`` of shape `(batch_size, sequence_length, hidden_size)`) : Optionally, instead of passing `input_ids` you can choose to directly pass an embedded representation. This is useful if you want more control over how to convert `input_ids` indices into associated vectors than the model's internal embedding lookup matrix.

use_cache (``) : If set to `True`, `past_key_values` key value states are returned and can be used to speed up decoding (see `past_key_values`).

output_router_logits (`bool`, *tùy chọn*) : Có trả về logits của tất cả các router hay không. Chúng hữu ích để tính toán router loss và không nên được trả về trong quá trình suy luận.

use_audio_in_video (`bool`, *tùy chọn*) : Có sử dụng track âm thanh trong video hay không, phải giống với tham số trong `process_audio_info`.

video_second_per_grid (`torch.LongTensor` có hình dạng `(num_videos)`, *tùy chọn*) : Số giây trên mỗi lưới cho từng video, được sử dụng cho ánh xạ đặc trưng thời gian.

mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *tùy chọn*) : Dict trong đó các khóa là các chế độ (modalities) được hỗ trợ và các giá trị là kết quả mã hóa cho chế độ đó. Mỗi kết quả mã hóa là một tuple bao gồm (`pooler_output`, *tùy chọn*: `last_hidden_states`, *tùy chọn*: `hidden_states`, *tùy chọn*: `attentions`) `pooler_output` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) là một chuỗi các đặc trưng đa chế độ của bộ mã hóa được hợp nhất vào các nhúng văn bản.

**Trả về:** `MoeModelOutputWithPast` hoặc `tuple(torch.Tensor)`

Một `MoeModelOutputWithPast` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

Phương thức forward của [Qwen3OmniMoeThinkerModel](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeThinkerModel) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu `config.is_encoder_decoder=True` trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **router_logits** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_router_probs=True` và `config.add_router_probs=True` được truyền vào hoặc khi `config.output_router_probs=True`) -- Bộ ba `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, sequence_length, num_experts)`.

  Logits thô (sau softmax) được tính bởi các router MoE, các thuật ngữ này được sử dụng để tính toán tổn thất bổ trợ cho các mô hình Mixture of Experts.

## Qwen3OmniMoeThinkerForConditionalGeneration[[transformers.Qwen3OmniMoeThinkerForConditionalGeneration]]

#### transformers.Qwen3OmniMoeThinkerForConditionalGeneration[[transformers.Qwen3OmniMoeThinkerForConditionalGeneration]]

```python
transformers.Qwen3OmniMoeThinkerForConditionalGeneration(config: Qwen3OmniMoeThinkerConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2161)

#### forward[[transformers.Qwen3OmniMoeThinkerForConditionalGeneration.forward]]

```python
forward(input_ids = None, input_features = None, pixel_values = None, pixel_values_videos = None, image_grid_thw = None, video_grid_thw = None, attention_mask = None, feature_attention_mask = None, audio_feature_lengths = None, position_ids = None, past_key_values = None, inputs_embeds = None, labels = None, use_cache = None, output_router_logits: bool | None = None, use_audio_in_video = None, video_second_per_grid = None, mm_encoder_outputs: dict[str, transformers.modeling_outputs.BaseModelOutputWithPooling] | None = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2224)

**Tham số:**

input_ids (`` of shape `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào trong từ vựng. Mặc định, padding sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

input_features (`` of shape `(batch_size, sequence_length, feature_dim)`) : Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng cách sử dụng [WhisperFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/whisper#transformers.WhisperFeatureExtractor). Xem [WhisperFeatureExtractor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/whisper#transformers.WhisperFeatureExtractor.__call__) để biết chi tiết ([Qwen3OmniMoeProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeProcessor) sử dụng [WhisperFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/whisper#transformers.WhisperFeatureExtractor) để xử lý âm thanh).

pixel_values (`` of shape `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các ảnh đầu vào. Giá trị pixel có thể được lấy bằng cách sử dụng [Qwen2VLImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor). Xem [Qwen2VLImageProcessor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__) để biết chi tiết ([Qwen3OmniMoeProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeProcessor) sử dụng [Qwen2VLImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor) để xử lý ảnh).

pixel_values_videos (`` of shape `(batch_size, num_frames, num_channels, frame_size, frame_size)`) : Các tensor tương ứng với video đầu vào. Giá trị pixel cho video có thể được lấy bằng cách sử dụng [Qwen2VLVideoProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor). Xem [Qwen2VLVideoProcessor.__call__()](/docs/transformers/v5.23.0/vi/model_doc/molmo2#transformers.Molmo2VideoProcessor.__call__) để biết chi tiết ([Qwen3OmniMoeProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeProcessor) sử dụng [Qwen2VLVideoProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor) để xử lý video).

image_grid_thw (`` of shape `(num_images, 3)`) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi hình ảnh trong LLM.

video_grid_thw (`` of shape `(num_videos, 3)`) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi video trong LLM.

attention_mask (`` of shape `(batch_size, sequence_length)`) : Mask to avoid performing attention on padding token indices. Mask values selected in `[0, 1]`:  - 1 for tokens that are **not masked**, - 0 for tokens that are **masked**.  [What are attention masks?](../glossary#attention-mask)

feature_attention_mask (`torch.Tensor` có shape `(batch_size, feature_sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ mục đặc trưng đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.

audio_feature_lengths (`torch.LongTensor` có hình dạng `(num_audios)`, *tùy chọn*) : Độ dài của hình dạng đặc trưng của mỗi âm thanh trong LLM.

position_ids (`` of shape `(batch_size, sequence_length)`) : Indices of positions of each input sequence tokens in the position embeddings. Selected in the range `[0, config.n_positions - 1]`.  [Các ID vị trí là gì?](../glossary#position-ids)

past_key_values (``) : Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in the `past_key_values` returned by the model at a previous stage of decoding, when `use_cache=True` or `config.use_cache=True`.  Only [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance is allowed as input, see our [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache). If no `past_key_values` are passed, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) will be initialized by default.  The model will output the same cache format that is fed as input.  If `past_key_values` are used, the user is expected to input only unprocessed `input_ids` (those that don't have their past key value states given to this model) of shape `(batch_size, unprocessed_length)` instead of all `input_ids` of shape `(batch_size, sequence_length)`.

inputs_embeds (`` of shape `(batch_size, sequence_length, hidden_size)`) : Optionally, instead of passing `input_ids` you can choose to directly pass an embedded representation. This is useful if you want more control over how to convert `input_ids` indices into associated vectors than the model's internal embedding lookup matrix.

labels (`` of shape `(batch_size, sequence_length)`) : Labels for computing the masked language modeling loss. Indices should either be in `[0, ..., config.vocab_size]` or -100 (see `input_ids` docstring). Tokens with indices set to `-100` are ignored (masked), the loss is only computed for the tokens with labels in `[0, ..., config.vocab_size]

use_cache (``) : If set to `True`, `past_key_values` key value states are returned and can be used to speed up decoding (see `past_key_values`).

output_router_logits (`bool`, *tùy chọn*) : Có trả về logits của tất cả các router hay không. Chúng hữu ích để tính toán router loss và không nên được trả về trong quá trình suy luận.

use_audio_in_video (`bool`, *tùy chọn*) : Có sử dụng track âm thanh trong video hay không, phải giống với tham số trong `process_audio_info`.

video_second_per_grid (`torch.LongTensor` có hình dạng `(num_videos)`, *tùy chọn*) : Số giây trên mỗi lưới cho từng video, được sử dụng cho ánh xạ đặc trưng thời gian.

mm_encoder_outputs (`dict[str, ~modeling_outputs.BaseModelOutputWithPooling]`, *tùy chọn*) : Dict trong đó các khóa là các chế độ (modalities) được hỗ trợ và các giá trị là kết quả mã hóa cho chế độ đó. Mỗi kết quả mã hóa là một tuple bao gồm (`pooler_output`, *tùy chọn*: `last_hidden_states`, *tùy chọn*: `hidden_states`, *tùy chọn*: `attentions`) `pooler_output` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) là một chuỗi các đặc trưng đa chế độ của bộ mã hóa được hợp nhất vào các nhúng văn bản.

**Trả về:** `MoeCausalLMOutputWithPast` hoặc `tuple(torch.Tensor)`

Một `MoeCausalLMOutputWithPast` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

Phương thức forward của [Qwen3OmniMoeThinkerForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeThinkerForConditionalGeneration) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss của language modeling (cho next-token prediction).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token từ vựng trước SoftMax).
- **aux_loss** (`torch.Tensor`, *tuỳ chọn*, được trả về khi `output_router_logits=True` được truyền vào hoặc khi `config.output_router_logits=True`, và mô hình huấn luyện router của nó với tổn thất cân bằng tải) -- Tổn thất phụ cân bằng tải cho các module thưa. Các mô hình cân bằng chuyên gia của chúng bằng router bias thay thế (DeepSeek-V3 và các kiến trúc phái sinh từ nó) sẽ trả về `None` tại đây trong khi vẫn trả về `router_logits`.
- **router_logits** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_router_logits=True` được truyền vào hoặc khi `config.output_router_logits=True`) -- Bộ ba `torch.Tensor` (một cho mỗi lớp thưa) có hình dạng `(batch_size * sequence_length, num_experts)`.

  Logits thô của router được tính toán bởi các router MoE. Chúng có thể được sử dụng để tính toán tổn thất cân bằng tải hoặc để kiểm tra cách các token được phân phối đến các chuyên gia.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from transformers import Qwen3OmniMoeProcessor, Qwen3OmniMoeThinkerForConditionalGeneration

>>> thinker = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen2.5-Omni-7B")
>>> processor = Qwen3OmniMoeProcessor.from_pretrained("Qwen/Qwen2.5-Omni-7B")

>>> conversations = [
>>>         {'role': 'system', 'content': 'You are a helpful voice chat bot, and please respond to me in a casual conversation manner using random voice.'},
>>>         {"role": "user", "content": [
>>>             {"type": "image", "image": "https://www.ilankelman.org/stopsigns/australia.jpg"},
>>>             {"type": "audio", "audio": "https://huggingface.co/datasets/hf-internal-testing/transformers-synthetic-assets/resolve/main/audio/glass_breaking.mp3"},
>>>         ]},
>>> ]

>>> inputs = processor.apply_chat_template(
    conversations,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
    return_tensors="pt"
)

>>> # Generate
>>> generation = thinker.generate(**inputs, max_new_tokens=2048)
>>> generate_ids = generation[:, inputs.input_ids.size(1):]

>>> response = processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
```

#### get_audio_features[[transformers.Qwen3OmniMoeThinkerForConditionalGeneration.get_audio_features]]

```python
get_audio_features(input_features: Tensor, feature_attention_mask: typing.Optional[torch.LongTensor] = None, audio_feature_lengths: typing.Optional[torch.LongTensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2206)

**Tham số:**

input_features (`torch.Tensor`) : Các tensor tương ứng với các âm thanh đầu vào.

feature_attention_mask (`torch.LongTensor`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số đặc trưng đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:

audio_feature_lengths (`torch.LongTensor` có hình dạng `(num_audios)`, *tùy chọn*) : Độ dài của hình dạng đặc trưng của mỗi âm thanh trong LLM.

**Trả về:** [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) hoặc `tuple(torch.Tensor)`

Một [BaseModelOutputWithPooling](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPooling) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các phần tử khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
- **pooler_output** (`torch.Tensor` có hình dạng `(batch_size, hidden_size)`) -- Trạng thái ẩn của lớp cuối cùng cho token đầu tiên của chuỗi (token phân loại) sau khi được xử lý thêm thông qua các lớp dùng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

```python
>>> from PIL import Image
>>> from transformers import AutoProcessor, Qwen3OmniMoeThinkerForConditionalGeneration

>>> model = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")

>>> messages = [
...     {
...         "role": "user", "content": [
...             {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
...             {"type": "text", "text": "Where is the cat standing?"},
...         ]
...     },
... ]

>>> inputs = processor.apply_chat_template(
...     messages,
...     tokenize=True,
...     return_dict=True,
...     return_tensors="pt",
...     add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]
```

#### get_image_features[[transformers.Qwen3OmniMoeThinkerForConditionalGeneration.get_image_features]]

```python
get_image_features(pixel_values: Tensor, image_grid_thw: typing.Optional[torch.LongTensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2193)

**Tham số:**

pixel_values (`torch.Tensor` có hình dạng `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các hình ảnh đầu vào.

image_grid_thw (`torch.LongTensor` có hình dạng `(num_images, 3)`, *tùy chọn*) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi hình ảnh trong LLM.

**Trả về:** `BaseModelOutputWithDeepstackFeatures` hoặc `tuple(torch.Tensor)`

Một `BaseModelOutputWithDeepstackFeatures` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
- **pooler_output** (`torch.Tensor` có hình dạng `(batch_size, hidden_size)`) -- Trạng thái ẩn của lớp cuối cùng cho token đầu tiên của chuỗi (token phân loại) sau khi được xử lý thêm thông qua các lớp dùng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **deepstack_features** (`List[torch.Tensor]`, *tùy chọn*) -- Danh sách các hidden-states (feature maps) từ các lớp deepstack.

Ví dụ:

```python
>>> from PIL import Image
>>> from transformers import AutoProcessor, Qwen3OmniMoeThinkerForConditionalGeneration

>>> model = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")

>>> messages = [
...     {
...         "role": "user", "content": [
...             {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
...             {"type": "text", "text": "Where is the cat standing?"},
...         ]
...     },
... ]

>>> inputs = processor.apply_chat_template(
...     messages,
...     tokenize=True,
...     return_dict=True,
...     return_tensors="pt",
...     add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]
```

#### get_video_features[[transformers.Qwen3OmniMoeThinkerForConditionalGeneration.get_video_features]]

```python
get_video_features(pixel_values_videos: Tensor, video_grid_thw: typing.Optional[torch.LongTensor] = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2180)

**Tham số:**

pixel_values_videos (`torch.Tensor` có hình dạng `(batch_size, num_channels, image_size, image_size)`) : Các tensor tương ứng với các video đầu vào.

video_grid_thw (`torch.LongTensor` có hình dạng `(num_videos, 3)`, *tùy chọn*) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi video trong LLM.

**Trả về:** `BaseModelOutputWithDeepstackFeatures` hoặc `tuple(torch.Tensor)`

Một `BaseModelOutputWithDeepstackFeatures` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
- **pooler_output** (`torch.Tensor` có hình dạng `(batch_size, hidden_size)`) -- Trạng thái ẩn của lớp cuối cùng cho token đầu tiên của chuỗi (token phân loại) sau khi được xử lý thêm thông qua các lớp dùng cho tác vụ tiền huấn luyện bổ trợ. Ví dụ, đối với các mô hình thuộc họ BERT, giá trị này trả về token phân loại sau khi được xử lý qua một lớp tuyến tính và một hàm kích hoạt tanh. Trọng số của lớp tuyến tính được huấn luyện từ mục tiêu dự đoán câu tiếp theo (phân loại) trong quá trình tiền huấn luyện.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **deepstack_features** (`List[torch.Tensor]`, *tùy chọn*) -- Danh sách các hidden-states (feature maps) từ các lớp deepstack.

Ví dụ:

```python
>>> from PIL import Image
>>> from transformers import AutoProcessor, Qwen3OmniMoeThinkerForConditionalGeneration

>>> model = Qwen3OmniMoeThinkerForConditionalGeneration.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")
>>> processor = AutoProcessor.from_pretrained("Qwen/Qwen3-Omni-30B-A3B-Instruct")

>>> messages = [
...     {
...         "role": "user", "content": [
...             {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
...             {"type": "text", "text": "Where is the cat standing?"},
...         ]
...     },
... ]

>>> inputs = processor.apply_chat_template(
...     messages,
...     tokenize=True,
...     return_dict=True,
...     return_tensors="pt",
...     add_generation_prompt=True
... )
>>> # Generate
>>> generate_ids = model.generate(**inputs)
>>> processor.batch_decode(generate_ids, skip_special_tokens=True)[0]
```

## Qwen3OmniMoeTalkerForConditionalGeneration[[transformers.Qwen3OmniMoeTalkerForConditionalGeneration]]

#### transformers.Qwen3OmniMoeTalkerForConditionalGeneration[[transformers.Qwen3OmniMoeTalkerForConditionalGeneration]]

```python
transformers.Qwen3OmniMoeTalkerForConditionalGeneration(config: Qwen3OmniMoeTalkerConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L3086)

**Tham số:**

config ([Qwen3OmniMoeTalkerConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Qwen3 Omni Moe cho việc tạo token có điều kiện dựa trên các phương thức khác (ví dụ: tạo văn bản từ hình ảnh-văn bản).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Qwen3OmniMoeTalkerForConditionalGeneration.forward]]

```python
forward(input_ids = None, attention_mask = None, use_audio_in_video = None, audio_feature_lengths = None, video_second_per_grid = None, image_grid_thw = None, video_grid_thw = None, position_ids = None, past_key_values = None, inputs_embeds = None, labels = None, use_cache = None, output_router_logits = None, residual_codes = None, trailing_text_hidden = None, tts_pad_embed = None, generation_step = None, talker_input_ids = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L3118)

**Tham số:**

input_ids (`` of shape `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào trong từ vựng. Mặc định, padding sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`` of shape `(batch_size, sequence_length)`) : Mask to avoid performing attention on padding token indices. Mask values selected in `[0, 1]`:  - 1 for tokens that are **not masked**, - 0 for tokens that are **masked**.  [What are attention masks?](../glossary#attention-mask)

use_audio_in_video (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, hãy sử dụng âm thanh trong video.

audio_feature_lengths (`torch.LongTensor` có hình dạng `(num_audios)`, *tùy chọn*) : Độ dài của hình dạng đặc trưng của mỗi âm thanh trong LLM.

video_second_per_grid (`torch.LongTensor` có hình dạng `(num_videos)`, *tùy chọn*) : Số giây trên mỗi lưới cho từng video, được sử dụng cho ánh xạ đặc trưng thời gian.

image_grid_thw (`` of shape `(num_images, 3)`) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi hình ảnh trong LLM.

video_grid_thw (`` of shape `(num_videos, 3)`) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi video trong LLM.

position_ids (`` of shape `(batch_size, sequence_length)`) : Indices of positions of each input sequence tokens in the position embeddings. Selected in the range `[0, config.n_positions - 1]`.  [Các ID vị trí là gì?](../glossary#position-ids)

past_key_values (``) : Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in the `past_key_values` returned by the model at a previous stage of decoding, when `use_cache=True` or `config.use_cache=True`.  Only [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance is allowed as input, see our [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache). If no `past_key_values` are passed, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) will be initialized by default.  The model will output the same cache format that is fed as input.  If `past_key_values` are used, the user is expected to input only unprocessed `input_ids` (those that don't have their past key value states given to this model) of shape `(batch_size, unprocessed_length)` instead of all `input_ids` of shape `(batch_size, sequence_length)`.

inputs_embeds (`` of shape `(batch_size, sequence_length, hidden_size)`) : Optionally, instead of passing `input_ids` you can choose to directly pass an embedded representation. This is useful if you want more control over how to convert `input_ids` indices into associated vectors than the model's internal embedding lookup matrix.

labels (`` of shape `(batch_size, sequence_length)`) : Labels for computing the masked language modeling loss. Indices should either be in `[0, ..., config.vocab_size]` or -100 (see `input_ids` docstring). Tokens with indices set to `-100` are ignored (masked), the loss is only computed for the tokens with labels in `[0, ..., config.vocab_size]

use_cache (``) : If set to `True`, `past_key_values` key value states are returned and can be used to speed up decoding (see `past_key_values`).

output_router_logits (``) : Có hoặc không trả về logits của tất cả các router. Chúng hữu ích để tính toán router loss và không nên được trả về trong quá trình suy luận.

residual_codes (`torch.Tensor`) : Các mã phần dư dự đoán của bước trước đó.

trailing_text_hidden (`torch.Tensor`) : Trạng thái ẩn của văn bản từ thinker sau token đầu tiên.

tts_pad_embed (`torch.Tensor`) : Tensor nhúng của `tts_pad_token_id`.

generation_step (`int`) : Bước sinh kể từ prefill, được dùng để đồng bộ với `trailing_text_hidden`.

talker_input_ids (`torch.Tensor`) : Các id đầu vào từ thinker, được dùng để tính toán 3d RoPE.

**Trả về:** `MoeCausalLMOutputWithPast` hoặc `tuple(torch.Tensor)`

Một `MoeCausalLMOutputWithPast` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

Phương thức forward của [Qwen3OmniMoeTalkerForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerForConditionalGeneration) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss của language modeling (cho next-token prediction).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token từ vựng trước SoftMax).
- **aux_loss** (`torch.Tensor`, *tuỳ chọn*, được trả về khi `output_router_logits=True` được truyền vào hoặc khi `config.output_router_logits=True`, và mô hình huấn luyện router của nó với tổn thất cân bằng tải) -- Tổn thất phụ cân bằng tải cho các module thưa. Các mô hình cân bằng chuyên gia của chúng bằng router bias thay thế (DeepSeek-V3 và các kiến trúc phái sinh từ nó) sẽ trả về `None` tại đây trong khi vẫn trả về `router_logits`.
- **router_logits** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_router_logits=True` được truyền vào hoặc khi `config.output_router_logits=True`) -- Bộ ba `torch.Tensor` (một cho mỗi lớp thưa) có hình dạng `(batch_size * sequence_length, num_experts)`.

  Logits thô của router được tính toán bởi các router MoE. Chúng có thể được sử dụng để tính toán tổn thất cân bằng tải hoặc để kiểm tra cách các token được phân phối đến các chuyên gia.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

## Qwen3OmniMoePreTrainedModel[[transformers.Qwen3OmniMoePreTrainedModel]]

#### transformers.Qwen3OmniMoePreTrainedModel[[transformers.Qwen3OmniMoePreTrainedModel]]

```python
transformers.Qwen3OmniMoePreTrainedModel(config: PreTrainedConfig, *inputs, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L113)

**Tham số:**

config ([PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

## Qwen3OmniMoePreTrainedModelForConditionalGeneration[[transformers.Qwen3OmniMoePreTrainedModelForConditionalGeneration]]

#### transformers.Qwen3OmniMoePreTrainedModelForConditionalGeneration[[transformers.Qwen3OmniMoePreTrainedModelForConditionalGeneration]]

```python
transformers.Qwen3OmniMoePreTrainedModelForConditionalGeneration(config: PreTrainedConfig, *inputs, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L159)

#### get_chunked_index[[transformers.Qwen3OmniMoePreTrainedModelForConditionalGeneration.get_chunked_index]]

```python
get_chunked_index(token_indices: Tensor, tokens_per_chunk: int, remove_index: int)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L182)

**Tham số:**

token_indices (`torch.Tensor` có hình dạng `(seq_len, )`) : Một danh sách các giá trị chỉ số token tăng đơn điệu.

t_ntoken_per_chunk (`int`) : Số lượng token mỗi khối (được dùng làm ngưỡng kích thước khối).

remove_index (`int`) Một chỉ số id để trừ khỏi `token_indices` trước khi chia thành các khối --

**Trả về:** `list[tuple[int, int]]`

Một danh sách các bộ (tuples), mỗi bộ đại diện cho chỉ số bắt đầu (bao gồm) và chỉ số kết thúc (không bao gồm) của một khối (chunk) trong `token_indices`.

Chia danh sách chỉ số token thành các khối dựa trên phạm vi giá trị token.

Cho một danh sách chỉ số token, trả về một danh sách các bộ (start, end) chỉ số đại diện cho các lát cắt của danh sách mà trong đó giá trị token nằm trong các khoảng liên tiếp của `t_ntoken_per_chunk`.

Ví dụ, nếu `t_ntoken_per_chunk` là 1000, hàm sẽ tạo ra các khối sao cho:
- chunk đầu tiên chứa các giá trị token < 1000,
- chunk thứ hai chứa các giá trị >= 1000 và < 2000, và cứ như vậy.

#### get_rope_index[[transformers.Qwen3OmniMoePreTrainedModelForConditionalGeneration.get_rope_index]]

```python
get_rope_index(input_ids: typing.Optional[torch.LongTensor] = None, image_grid_thw: typing.Optional[torch.LongTensor] = None, video_grid_thw: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, use_audio_in_video: bool = False, audio_seqlens: typing.Optional[torch.LongTensor] = None, second_per_grids: typing.Optional[torch.Tensor] = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L219)

**Tham số:**

input_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Phần đệm (padding) sẽ được bỏ qua mặc định nếu bạn cung cấp.

image_grid_thw (`torch.LongTensor` có hình dạng `(num_images, 3)`, *tùy chọn*) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi hình ảnh trong LLM.

video_grid_thw (`torch.LongTensor` có hình dạng `(num_videos, 3)`, *tùy chọn*) : Thời gian, chiều cao và chiều rộng của hình dạng đặc trưng của mỗi video trong LLM.

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.

use_audio_in_video (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, hãy sử dụng âm thanh trong video.

audio_seqlens (`torch.LongTensor` có hình dạng `(num_audios)`, *tùy chọn*) : Độ dài của hình dạng đặc trưng của mỗi âm thanh trong LLM.

second_per_grids (`torch.LongTensor` có hình dạng `(num_videos)`, *tùy chọn*) : Khoảng thời gian (tính bằng giây) cho mỗi lưới dọc theo chiều thời gian trong các ID vị trí 3D.

**Trả về:**

position_ids (`torch.LongTensor` có hình dạng `(3, batch_size, sequence_length)`) mrope_position_deltas (`torch.Tensor` có hình dạng `(batch_size)`)

Tính chỉ số rope 3D dựa trên thời gian, chiều cao và chiều rộng của hình ảnh và video trong LLM.

Giải thích: Mỗi chuỗi nhúng chứa nhúng thị giác và nhúng văn bản hoặc chỉ chứa nhúng văn bản.

Đối với chuỗi nhúng văn bản thuần túy, nhúng vị trí quay (rotary position embedding) không có sự khác biệt so với các LLM hiện đại. Ví dụ: input_ids: [T T T T T], trong đó T đại diện cho văn bản. temporal position_ids: [0, 1, 2, 3, 4] height position_ids: [0, 1, 2, 3, 4] width position_ids: [0, 1, 2, 3, 4]

Đối với chuỗi nhúng thị giác và văn bản, chúng ta tính nhúng vị trí xoay 3D cho phần thị giác và nhúng vị trí xoay 1D cho phần văn bản. Ví dụ: Thời gian (Temporal): 3 patch, đại diện cho các phân đoạn khác nhau của video theo thời gian. Chiều cao (Height): 2 patch, chia mỗi khung hình theo chiều dọc. Chiều rộng (Width): 2 patch, chia mỗi khung hình theo chiều ngang. Chúng ta cũng có một số tham số quan trọng: fps (Frames Per Second): Tốc độ khung hình của video, được đặt là 1. Điều này có nghĩa là mỗi giây xử lý một khung hình. tokens_per_second: Đây là một tham số quan trọng. Nó quy định số lượng "bước thời gian" hoặc "token thời gian" được đóng gói về mặt khái niệm trong khoảng thời gian một giây của video. Trong trường hợp này, chúng ta có 25 token mỗi giây. Vì vậy, mỗi giây của video sẽ được biểu diễn bằng 25 điểm thời gian riêng biệt. Về cơ bản, nó xác định độ hạt thời gian. temporal_patch_size: Số khung hình tạo thành một patch thời gian. Ở đây, nó là 2 khung hình. interval: Kích thước bước cho các ID vị trí thời gian, được tính bằng tokens_per_second * temporal_patch_size / fps. Trong trường hợp này, 25 * 2 / 1 = 50. Điều này có nghĩa là mỗi patch thời gian sẽ có sự chênh lệch 50 trong các ID vị trí thời gian. input_ids: [V V V V V V V V V V V V T T T T T], ở đây V là cho thị giác. vision temporal position_ids: [0, 0, 0, 0, 50, 50, 50, 50, 100, 100, 100, 100] vision height position_ids: [0, 0, 1, 1, 0, 0, 1, 1, 0, 0, 1, 1] vision width position_ids: [0, 1, 0, 1, 0, 1, 0, 1, 0, 1, 0, 1] text temporal position_ids: [101, 102, 103, 104, 105] text height position_ids: [101, 102, 103, 104, 105] text width position_ids: [101, 102, 103, 104, 105] Ở đây chúng ta tính position_ids bắt đầu của văn bản bằng position_ids thị giác lớn nhất cộng thêm 1.

## Qwen3OmniMoeTalkerModel[[transformers.Qwen3OmniMoeTalkerModel]]

#### transformers.Qwen3OmniMoeTalkerModel[[transformers.Qwen3OmniMoeTalkerModel]]

```python
transformers.Qwen3OmniMoeTalkerModel(config: Qwen3OmniMoeTalkerTextConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2958)

**Tham số:**

config ([Qwen3OmniMoeTalkerTextConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerTextConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Phần văn bản của Qwen3OmniMoe, không phải là mô hình chỉ thuần văn bản, vì DeepStack tích hợp các đặc trưng thị giác vào các trạng thái ẩn ban đầu.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Qwen3OmniMoeTalkerModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, visual_pos_masks: typing.Optional[torch.Tensor] = None, deepstack_visual_embeds: list[torch.Tensor] | None = None, **kwargs: *<class 'transformers.modeling_flash_attention_utils.FlashAttentionKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2983)

**Tham số:**

input_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

position_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các embedding vị trí. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

visual_pos_masks (`torch.Tensor` có hình dạng `(batch_size, seqlen)`, *tùy chọn*) : Mặt nạ của các vị trí thị giác.

deepstack_visual_embeds (`list[torch.Tensor]`, *tùy chọn*) : Các embedding thị giác deepstack. Hình dạng là (num_layers, visual_seqlen, embed_dim). Đặc trưng được trích xuất từ các lớp encoder thị giác khác nhau và được đưa vào các trạng thái ẩn của decoder. Nó đến từ bài báo DeepStack(https://arxiv.org/abs/2406.04334).

**Trả về:** `MoeModelOutputWithPast` hoặc `tuple(torch.Tensor)`

Một `MoeModelOutputWithPast` hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

Phương thức forward của [Qwen3OmniMoeTalkerModel](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerModel) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu `config.is_encoder_decoder=True` trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.
- **router_logits** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_router_probs=True` và `config.add_router_probs=True` được truyền vào hoặc khi `config.output_router_probs=True`) -- Bộ ba `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, sequence_length, num_experts)`.

  Logits thô (sau softmax) được tính bởi các router MoE, các thuật ngữ này được sử dụng để tính toán tổn thất bổ trợ cho các mô hình Mixture of Experts.

## Qwen3OmniMoeThinkerTextPreTrainedModel[[transformers.Qwen3OmniMoeThinkerTextPreTrainedModel]]

#### transformers.Qwen3OmniMoeThinkerTextPreTrainedModel[[transformers.Qwen3OmniMoeThinkerTextPreTrainedModel]]

```python
transformers.Qwen3OmniMoeThinkerTextPreTrainedModel(config: PreTrainedConfig, *inputs, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L1567)

**Tham số:**

config ([PreTrainedConfig](/docs/transformers/v5.23.0/vi/main_classes/configuration#transformers.PreTrainedConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

## Qwen3OmniMoeProcessor[[transformers.Qwen3OmniMoeProcessor]]

#### transformers.Qwen3OmniMoeProcessor[[transformers.Qwen3OmniMoeProcessor]]

```python
transformers.Qwen3OmniMoeProcessor(image_processor = None, video_processor = None, feature_extractor = None, tokenizer = None, chat_template = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/processing_qwen3_omni_moe.py#L128)

**Tham số:**

image_processor (`Qwen2VLImageProcessor`) : Bộ xử lý ảnh là một đầu vào bắt buộc.

video_processor (`Qwen2VLVideoProcessor`) : Bộ xử lý video là một đầu vào bắt buộc.

feature_extractor (`WhisperFeatureExtractor`) : Bộ trích xuất đặc trưng là một đầu vào bắt buộc.

tokenizer (`Qwen2Tokenizer`) : Tokenizer là đầu vào bắt buộc.

chat_template (`str`) : Một mẫu Jinja để chuyển đổi các danh sách tin nhắn trong một cuộc trò chuyện thành chuỗi có thể token hóa.

Tạo một Qwen3OmniMoeProcessor đóng gói một bộ xử lý ảnh, một bộ xử lý video, một bộ trích xuất đặc trưng và một tokenizer thành một bộ xử lý duy nhất.

[Qwen3OmniMoeProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeProcessor) cung cấp đầy đủ các chức năng của [Qwen2VLImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor), [Qwen2VLVideoProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor), [WhisperFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/whisper#transformers.WhisperFeatureExtractor) và [Qwen2Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/qwen2#transformers.Qwen2Tokenizer). Xem [~Qwen2VLImageProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLImageProcessor), [~Qwen2VLVideoProcessor](/docs/transformers/v5.23.0/vi/model_doc/qwen2_vl#transformers.Qwen2VLVideoProcessor), [~WhisperFeatureExtractor](/docs/transformers/v5.23.0/vi/model_doc/whisper#transformers.WhisperFeatureExtractor) và [~Qwen2Tokenizer](/docs/transformers/v5.23.0/vi/model_doc/qwen2#transformers.Qwen2Tokenizer) để biết thêm thông tin.

#### __call__[[transformers.Qwen3OmniMoeProcessor.__call__]]

```python
__call__(text: str | list[str] | list[list[str]] = None, images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor'], NoneType] = None, videos: typing.Union[list['PIL.Image.Image'], numpy.ndarray, ForwardRef('torch.Tensor'), list[numpy.ndarray], list['torch.Tensor'], list[list['PIL.Image.Image']], list[list[numpy.ndarray]], list[list['torch.Tensor']], transformers.video_utils.URL, list[transformers.video_utils.URL], list[list[transformers.video_utils.URL]], transformers.video_utils.Path, list[transformers.video_utils.Path], list[list[transformers.video_utils.Path]], NoneType] = None, audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = None, **kwargs: *<class 'transformers.models.qwen3_omni_moe.processing_qwen3_omni_moe.Qwen3OmniMoeProcessorKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/processing_qwen3_omni_moe.py#L164)

**Tham số:**

text (`Union[str, list[str], list[list[str]]]`, *tùy chọn*) : Chuỗi hoặc lô các chuỗi cần được mã hóa. Mỗi chuỗi có thể là một chuỗi ký tự hoặc một danh sách các chuỗi ký tự (chuỗi đã được tách token trước). Nếu bạn truyền vào đầu vào đã tách token trước, hãy đặt `is_split_into_words=True` để tránh nhầm lẫn với các đầu vào dạng lô.

images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`, *tùy chọn*) : Ảnh cần tiền xử lý. Kỳ vọng một ảnh đơn hoặc một lô ảnh với giá trị pixel dao động từ 0 đến 255. Nếu truyền vào các ảnh có giá trị pixel nằm trong khoảng từ 0 đến 1, hãy đặt `do_rescale=False`.

videos (`Union[list[PIL.Image.Image], numpy.ndarray, torch.Tensor, list[numpy.ndarray], list[torch.Tensor], list[list[PIL.Image.Image]], list[list[numpy.ndarray]], list[list[torch.Tensor]], ~video_utils.URL, list[~video_utils.URL], list[list[~video_utils.URL]], ~video_utils.Path, list[~video_utils.Path], list[list[~video_utils.Path]]]`, *optional*) : Video cần tiền xử lý. Kỳ vọng một video đơn hoặc một batch video với giá trị pixel từ 0 đến 255. Nếu truyền vào video có giá trị pixel từ 0 đến 1, hãy đặt `do_rescale=False`.

audio (`Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]]`, *optional*) : Âm thanh hoặc lô âm thanh cần được chuẩn bị. Mỗi âm thanh có thể là mảng NumPy hoặc tensor PyTorch. Trong trường hợp là mảng NumPy/tensor PyTorch, mỗi âm thanh nên có hình dạng (C, T), trong đó C là số kênh và T là độ dài mẫu của âm thanh.

min_pixels (`int`, *kwargs*, *optional*) : Số lượng pixel tối thiểu (chiều cao × chiều rộng) cho các khung hình video sau khi thay đổi kích thước. Các khung hình nhỏ hơn ngưỡng này sẽ được phóng to để đáp ứng yêu cầu tối thiểu.

max_pixels (`int`, *kwargs*, *optional*) : Số lượng pixel tối đa (chiều cao × chiều rộng) cho các khung hình video sau khi thay đổi kích thước. Các khung hình lớn hơn ngưỡng này sẽ được thu nhỏ để nằm trong giới hạn.

patch_size (`int`, *kwargs*, *optional*) : Kích thước patch không gian được sử dụng bởi bộ mã hóa thị giác. Các khung hình video được chia thành các patch có kích thước này theo cả chiều cao và chiều rộng.

temporal_patch_size (`int`, *kwargs*, *optional*) : Kích thước patch thời gian được sử dụng bởi bộ mã hóa thị giác. Điều này xác định số lượng khung hình liên tiếp được nhóm lại thành một patch thời gian duy nhất.

merge_size (`int`, *kwargs*, *optional*) : Kích thước gộp được sử dụng để kết hợp các mảng không gian. Nhiều mảng được gộp lại với nhau để giảm độ dài chuỗi trong khi vẫn duy trì thông tin không gian.

min_frames (`int`, *kwargs*, *optional*) : Số khung hình tối thiểu cần trích xuất từ video. Các video có ít khung hình hơn sẽ được đệm hoặc lặp lại để đáp ứng yêu cầu này.

max_frames (`int`, *kwargs*, *optional*) : Số khung hình tối đa cần trích xuất từ video. Các video dài hơn sẽ bị cắt ngắn hoặc lấy mẫu để nằm trong giới hạn này.

use_audio_in_video (`bool`, *kwargs*, *optional*, mặc định là `False`) : Đã bị loại bỏ, hãy dùng `Qwen3OmniMoeProcessorKwargs.load_audio_from_video` thay thế. Xác định có tích hợp thông tin âm thanh khi xử lý video hay không. Khi được bật, các token âm thanh sẽ được xen kẽ với các token video dựa trên sự căn chỉnh theo thời gian, tạo ra một biểu diễn đa phương thức thống nhất.

load_audio_from_video (`bool`, *kwargs*, *optional*, mặc định là `False`) : Đã bị loại bỏ, hãy dùng `Qwen3OmniMoeProcessorKwargs.load_audio_from_video` thay thế. Xác định có tích hợp thông tin âm thanh khi xử lý video hay không. Khi được bật, các token âm thanh sẽ được xen kẽ với các token video dựa trên sự căn chỉnh theo thời gian, tạo ra một biểu diễn đa phương thức thống nhất.

seconds_per_chunk (`float`, *kwargs*, *optional*, mặc định là `2.0`) : Đã ngừng hỗ trợ, hãy dùng `Qwen3OmniMoeProcessorKwargs.seconds_per_chunk` thay thế. Thời lượng (tính bằng giây) của mỗi khối video khi chia nhỏ các video dài. Tham số này kiểm soát cách các video được chia thành các phân đoạn thời gian để xử lý.

position_id_per_seconds (`int`, *kwargs* hoặc `float`, *optional*, mặc định là `25`) : Đã ngừng hỗ trợ, hãy dùng `Qwen3OmniMoeProcessorKwargs.position_id_per_seconds` thay thế. Số lượng position ID được cấp phát cho mỗi giây video. Tham số này kiểm soát độ phân giải thời gian của position embeddings và được dùng để căn chỉnh video tokens với audio tokens khi `use_audio_in_video=True`.

return_mm_token_type_ids (`bool`, *kwargs*) : Có nên trả về các id loại token đa phương thức chỉ định vị trí của các token placeholder đa phương thức hay không.

return_text_replacement_offsets (`bool`, *kwargs*) : Có nên trả về các vị trí ký tự cho mỗi placeholder đa phương thức và phần thay thế của nó hay không.

load_audio_from_video (`bool`, *kwargs*) : Xác định có tải bản âm thanh của các video đầu vào hay không. Các token âm thanh sẽ được xen kẽ với các token video nếu mô hình hỗ trợ.

seconds_per_chunk (`float`, *kwargs*, *tuỳ chọn*, mặc định là `2.0`) : Thời lượng (tính bằng giây) của mỗi khối video khi chia nhỏ các video dài. Tham số này kiểm soát cách các video được chia thành các phân đoạn thời gian để xử lý.

position_id_per_seconds (`int`, *kwargs* hoặc `float`, *optional*, mặc định là `13.0`) : Số lượng position ID được phân bổ cho mỗi giây video. Tham số này kiểm soát độ phân giải thời gian của position embeddings và được sử dụng để căn chỉnh video tokens với audio tokens khi `load_audio_from_video=True`.

n_window (`int`, *kwargs*, *optional*, mặc định là `50`) : Kích thước cửa sổ của bộ mã hóa âm thanh. Giá trị này phải khớp với `n_window` trong cấu hình mô hình.

return_tensors (`str` hoặc [TensorType](/docs/transformers/v5.23.0/vi/internal/file_utils#transformers.TensorType), *optional*) : Nếu được đặt, sẽ trả về các tensor của một framework cụ thể. Các giá trị chấp nhận được là:  - `'pt'`: Trả về các đối tượng `torch.Tensor` của PyTorch. - `'np'`: Trả về các đối tượng `np.ndarray` của NumPy.

- ****kwargs** ([ProcessingKwargs](/docs/transformers/v5.23.0/vi/main_classes/processors#transformers.ProcessingKwargs), *optional*) : Các tùy chọn xử lý bổ sung cho từng phương thức (text, images, videos, audio). Các tham số cụ thể của model được liệt kê ở trên; xem lớp TypedDict để biết danh sách đầy đủ các đối số được hỗ trợ.

**Trả về:** `~feature_extraction_utils.BatchFeature`

- **data** (`dict`, *tuỳ chọn*) -- Từ điển chứa các danh sách/mảng/tensor được trả về bởi các phương thức __call__/pad ('input_values', 'attention_mask', v.v.).
- **tensor_type** (`Union[None, str, TensorType]`, *tùy chọn*) -- Bạn có thể cung cấp tensor_type tại đây để chuyển đổi các danh sách số nguyên trong Tensor PyTorch/Numpy khi khởi tạo.
- **skip_tensor_conversion** (`list[str]` hoặc `set[str]`, *tùy chọn*) -- Danh sách hoặc tập hợp các khóa KHÔNG được chuyển đổi thành tensor, ngay cả khi `tensor_type` được chỉ định.

## Qwen3OmniMoeCode2Wav[[transformers.Qwen3OmniMoeCode2Wav]]

#### transformers.Qwen3OmniMoeCode2Wav[[transformers.Qwen3OmniMoeCode2Wav]]

```python
transformers.Qwen3OmniMoeCode2Wav(config: Qwen3OmniMoeCode2WavConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L3886)

## Qwen3OmniMoeCode2WavDecoderBlock[[transformers.Qwen3OmniMoeCode2WavDecoderBlock]]

#### transformers.Qwen3OmniMoeCode2WavDecoderBlock[[transformers.Qwen3OmniMoeCode2WavDecoderBlock]]

```python
transformers.Qwen3OmniMoeCode2WavDecoderBlock(config: Qwen3OmniMoeCode2WavConfig, layer_idx)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L3859)

## Qwen3OmniMoeCode2WavTransformerModel[[transformers.Qwen3OmniMoeCode2WavTransformerModel]]

#### transformers.Qwen3OmniMoeCode2WavTransformerModel[[transformers.Qwen3OmniMoeCode2WavTransformerModel]]

```python
transformers.Qwen3OmniMoeCode2WavTransformerModel(config: Qwen3OmniMoeCode2WavConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L3701)

**Tham số:**

config (`Qwen3OmniMoeCode2WavConfig`) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Qwen3 Omni Moe cơ bản, xuất ra các hidden-states thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Qwen3OmniMoeCode2WavTransformerModel.forward]]

```python
forward(input_ids = None, attention_mask = None, position_ids = None, past_key_values = None, inputs_embeds = None, use_cache = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L3722)

**Tham số:**

input_ids (`` of shape `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào trong từ vựng. Mặc định, padding sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`` of shape `(batch_size, sequence_length)`) : Mask to avoid performing attention on padding token indices. Mask values selected in `[0, 1]`:  - 1 for tokens that are **not masked**, - 0 for tokens that are **masked**.  [What are attention masks?](../glossary#attention-mask)

position_ids (`` of shape `(batch_size, sequence_length)`) : Indices of positions of each input sequence tokens in the position embeddings. Selected in the range `[0, config.n_positions - 1]`.  [Các ID vị trí là gì?](../glossary#position-ids)

past_key_values (``) : Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in the `past_key_values` returned by the model at a previous stage of decoding, when `use_cache=True` or `config.use_cache=True`.  Only [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance is allowed as input, see our [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache). If no `past_key_values` are passed, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) will be initialized by default.  The model will output the same cache format that is fed as input.  If `past_key_values` are used, the user is expected to input only unprocessed `input_ids` (those that don't have their past key value states given to this model) of shape `(batch_size, unprocessed_length)` instead of all `input_ids` of shape `(batch_size, sequence_length)`.

inputs_embeds (`` of shape `(batch_size, sequence_length, hidden_size)`) : Optionally, instead of passing `input_ids` you can choose to directly pass an embedded representation. This is useful if you want more control over how to convert `input_ids` indices into associated vectors than the model's internal embedding lookup matrix.

use_cache (``) : If set to `True`, `past_key_values` key value states are returned and can be used to speed up decoding (see `past_key_values`).

**Trả về:** [BaseModelOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) hoặc `tuple(torch.Tensor)`

Một [BaseModelOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

Phương thức forward của [Qwen3OmniMoeCode2WavTransformerModel](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeCode2WavTransformerModel) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

  Nếu `past_key_values` được sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape `(batch_size, 1, hidden_size)` được xuất ra.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu `config.is_encoder_decoder=True` trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

## Qwen3OmniMoeTalkerCodePredictorModel[[transformers.Qwen3OmniMoeTalkerCodePredictorModel]]

#### transformers.Qwen3OmniMoeTalkerCodePredictorModel[[transformers.Qwen3OmniMoeTalkerCodePredictorModel]]

```python
transformers.Qwen3OmniMoeTalkerCodePredictorModel(config: Qwen3OmniMoeTalkerCodePredictorConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2614)

**Tham số:**

config ([Qwen3OmniMoeTalkerCodePredictorConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerCodePredictorConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Qwen3 Omni Moe cơ bản, xuất ra các hidden-states thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Qwen3OmniMoeTalkerCodePredictorModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2643)

**Tham số:**

input_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của các token trong chuỗi đầu vào theo từ vựng. Mặc định, các token đệm (padding) sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`torch.Tensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong `[0, 1]`:  - 1 cho các token **không bị che**, - 0 cho các token **bị che**.  [Mặt nạ chú ý là gì?](../glossary#attention-mask)

position_ids (`torch.LongTensor` có hình dạng `(batch_size, sequence_length)`, *tùy chọn*) : Chỉ số của vị trí các token trong mỗi chuỗi đầu vào trong các embedding vị trí. Được chọn trong khoảng `[0, config.n_positions - 1]`.  [Position IDs là gì?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *tùy chọn*) : Các hidden-states đã tính trước (key và values trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm `past_key_values` do mô hình trả về ở một giai đoạn giải mã trước đó, khi `use_cache=True` hoặc `config.use_cache=True`.  Chỉ cho phép [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance làm đầu vào, xem [hướng dẫn kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi. Nếu không truyền `past_key_values`, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) sẽ được khởi tạo theo mặc định.  Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.  Nếu sử dụng `past_key_values`, người dùng được kỳ vọng chỉ nhập các `input_ids` chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có shape `(batch_size, unprocessed_length)` thay vì tất cả `input_ids` có shape `(batch_size, sequence_length)`.

inputs_embeds (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`, *tùy chọn*) : Tùy chọn, thay vì truyền `input_ids`, bạn có thể chọn cách truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số `input_ids` thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

use_cache (`bool`, *tùy chọn*) : Nếu được đặt thành `True`, các trạng thái khóa và giá trị `past_key_values` sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem `past_key_values`).

**Trả về:** [BaseModelOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) hoặc `tuple(torch.Tensor)`

Một [BaseModelOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.BaseModelOutputWithPast) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

Phương thức forward của [Qwen3OmniMoeTalkerCodePredictorModel](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerCodePredictorModel) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **last_hidden_state** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, hidden_size)`) -- Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của mô hình.

  Nếu `past_key_values` được sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape `(batch_size, 1, hidden_size)` được xuất ra.
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và tùy chọn nếu `config.is_encoder_decoder=True` trong các khối cross-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

## Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration[[transformers.Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration]]

#### transformers.Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration[[transformers.Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration]]

```python
transformers.Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration(config: Qwen3OmniMoeTalkerCodePredictorConfig)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2703)

**Tham số:**

config ([Qwen3OmniMoeTalkerCodePredictorConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerCodePredictorConfig)) : Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình sẽ không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức [from_pretrained()](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel.from_pretrained) để tải trọng số mô hình.

Mô hình Qwen3 Omni Moe cho việc tạo token có điều kiện dựa trên các phương thức khác (ví dụ: tạo văn bản từ hình ảnh-văn bản).

Mô hình này kế thừa từ [PreTrainedModel](/docs/transformers/v5.23.0/vi/main_classes/model#transformers.PreTrainedModel). Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu ra, v.v.)

Mô hình này cũng là một lớp con của [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module) trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

#### forward[[transformers.Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration.forward]]

```python
forward(input_ids = None, attention_mask = None, position_ids = None, past_key_values = None, inputs_embeds = None, labels = None, use_cache = None, generation_steps = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/models/qwen3_omni_moe/modeling_qwen3_omni_moe.py#L2726)

**Tham số:**

input_ids (`` of shape `(batch_size, sequence_length)`) : Chỉ số của các token trong chuỗi đầu vào trong từ vựng. Mặc định, padding sẽ bị bỏ qua. Có thể lấy chỉ số bằng cách sử dụng [AutoTokenizer](/docs/transformers/v5.23.0/vi/model_doc/auto#transformers.AutoTokenizer). Xem [PreTrainedTokenizer.encode()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) và [PreTrainedTokenizer.__call__()](/docs/transformers/v5.23.0/vi/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__) để biết chi tiết. [ID đầu vào là gì?](../glossary#input-ids)

attention_mask (`` of shape `(batch_size, sequence_length)`) : Mask to avoid performing attention on padding token indices. Mask values selected in `[0, 1]`:  - 1 for tokens that are **not masked**, - 0 for tokens that are **masked**.  [What are attention masks?](../glossary#attention-mask)

position_ids (`` of shape `(batch_size, sequence_length)`) : Indices of positions of each input sequence tokens in the position embeddings. Selected in the range `[0, config.n_positions - 1]`.  [Các ID vị trí là gì?](../glossary#position-ids)

past_key_values (``) : Pre-computed hidden-states (key and values in the self-attention blocks and in the cross-attention blocks) that can be used to speed up sequential decoding. This typically consists in the `past_key_values` returned by the model at a previous stage of decoding, when `use_cache=True` or `config.use_cache=True`.  Only [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache) instance is allowed as input, see our [kv cache guide](https://huggingface.co/docs/transformers/en/kv_cache). If no `past_key_values` are passed, [DynamicCache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.DynamicCache) will be initialized by default.  The model will output the same cache format that is fed as input.  If `past_key_values` are used, the user is expected to input only unprocessed `input_ids` (those that don't have their past key value states given to this model) of shape `(batch_size, unprocessed_length)` instead of all `input_ids` of shape `(batch_size, sequence_length)`.

inputs_embeds (`` of shape `(batch_size, sequence_length, hidden_size)`) : Optionally, instead of passing `input_ids` you can choose to directly pass an embedded representation. This is useful if you want more control over how to convert `input_ids` indices into associated vectors than the model's internal embedding lookup matrix.

labels (`` of shape `(batch_size, sequence_length)`) : Labels for computing the masked language modeling loss. Indices should either be in `[0, ..., config.vocab_size]` or -100 (see `input_ids` docstring). Tokens with indices set to `-100` are ignored (masked), the loss is only computed for the tokens with labels in `[0, ..., config.vocab_size]

use_cache (``) : If set to `True`, `past_key_values` key value states are returned and can be used to speed up decoding (see `past_key_values`).

generation_steps (`int`) : bước sinh của bộ dự đoán mã, 0..num_code_groups-1

**Trả về:** [CausalLMOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.CausalLMOutputWithPast) hoặc `tuple(torch.Tensor)`

Một [CausalLMOutputWithPast](/docs/transformers/v5.23.0/vi/main_classes/output#transformers.modeling_outputs.CausalLMOutputWithPast) hoặc một tuple của `torch.Tensor` (nếu `return_dict=False` được truyền hoặc khi `config.return_dict=False`) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình ([Qwen3OmniMoeConfig](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeConfig)) và đầu vào.

Phương thức forward của [Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration](/docs/transformers/v5.23.0/vi/model_doc/qwen3_omni_moe#transformers.Qwen3OmniMoeTalkerCodePredictorModelForConditionalGeneration) ghi đè lên phương thức đặc biệt `__call__`.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, bạn nên gọi instance của `Module` sau đó thay vì gọi hàm này, vì instance `Module` sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ bỏ qua chúng một cách im lặng.

- **loss** (`torch.Tensor` có shape `(1,)`, *optional*, được trả về khi `labels` được cung cấp) -- Loss của language modeling (cho next-token prediction).
- **logits** (`torch.Tensor` có hình dạng `(batch_size, sequence_length, config.vocab_size)`) -- Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token từ vựng trước SoftMax).
- **past_key_values** (`Cache`, *tùy chọn*, được trả về khi `use_cache=True` được truyền vào hoặc khi `config.use_cache=True`) -- Đây là một instance của [Cache](/docs/transformers/v5.23.0/vi/internal/generation_utils#transformers.Cache). Để biết thêm chi tiết, hãy xem [hướng dẫn về kv cache](https://huggingface.co/docs/transformers/en/kv_cache) của chúng tôi.

  Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention) có thể được sử dụng (xem đầu vào `past_key_values`) để tăng tốc độ giải mã tuần tự.
- **hidden_states** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_hidden_states=True` được truyền vào hoặc khi `config.output_hidden_states=True`) -- Bộ tuple của `torch.Tensor` (một cho đầu ra của các embedding, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng `(batch_size, sequence_length, hidden_size)`.

  Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.
- **attentions** (`tuple(torch.Tensor)`, *tuỳ chọn*, được trả về khi `output_attentions=True` được truyền vào hoặc khi `config.output_attentions=True`) -- Bộ tuple của `torch.Tensor` (một cho mỗi lớp) có hình dạng `(batch_size, num_heads, sequence_length, sequence_length)`.

  Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

