Transformers documentation
SarvamMoE
Mô hình này đã được đóng góp cho Hugging Face Transformers vào ngày 2026-11-20.
SarvamMoE
SarvamMoE là kiến trúc của Sarvam-30B, một mô hình ngôn ngữ Mixture of Experts (MoE) có 30 tỷ tham số do Sarvam AI phát triển. Phiên bản lớn hơn của nó, Sarvam-105B, sử dụng SarvamMLA.
Các tính năng kiến trúc chính:
- Chú ý truy vấn nhóm với chuẩn hóa QK và nhúng vị trí xoay đầy đủ.
- Sparse Mixture of Experts: 128 chuyên gia định tuyến với 6 chuyên gia hoạt động cho mỗi token, cùng 1 chuyên gia dùng chung. Lớp đầu tiên sử dụng MLP dày đặc.
- Định tuyến Sigmoid với hiệu chỉnh độ lệch chuyên gia và hệ số tỷ lệ định tuyến.
Kiến trúc giống hệt với GLM-4-MoE, chỉ khác tên tham số và cấu hình. Các lớp auto sẽ nạp nó bằng cách triển khai của GLM-4-MoE (Glm4MoeModel và Glm4MoeForCausalLM), do đó chỉ có SarvamMoEConfig là đặc thù cho SarvamMoE. Các checkpoint đã phát hành được chuyển đổi sang tên của GLM-4-MoE khi nạp và chuyển ngược lại khi lưu.
Ví dụ dưới đây minh họa cách tạo văn bản bằng lớp AutoModelForCausalLM.
from transformers import AutoModelForCausalLM, AutoTokenizer
tokenizer = AutoTokenizer.from_pretrained("sarvamai/sarvam-30b")
model = AutoModelForCausalLM.from_pretrained("sarvamai/sarvam-30b", device_map="auto")
messages = [{"role": "user", "content": "Explain the Pythagorean theorem in one sentence."}]
inputs = tokenizer.apply_chat_template(messages, add_generation_prompt=True, return_tensors="pt", return_dict=True)
output = model.generate(**inputs.to(model.device), max_new_tokens=64)
print(tokenizer.decode(output[0][inputs["input_ids"].shape[1] :], skip_special_tokens=True))SarvamMoEConfig
lớp transformers.SarvamMoEConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonevocab_size: int = 262144hidden_size: int = 4096intermediate_size: int = 8192num_hidden_layers: int = 19num_attention_heads: int = 64num_key_value_heads: int = 4hidden_act: str = 'silu'max_position_embeddings: int = 131072initializer_range: float = 0.006rms_norm_eps: float = 1e-06use_cache: bool = Truetie_word_embeddings: bool = Falserope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0moe_intermediate_size: int = 1024num_experts_per_tok: int = 6output_router_logits: bool = Falsen_shared_experts: int = 1n_routed_experts: int = 128routed_scaling_factor: float = 2.5n_group: int = 1topk_group: int = 1first_k_dense_replace: int = 1norm_topk_prob: bool = Trueuse_qk_norm: bool = Truebos_token_id: int | None = Noneeos_token_id: int | list[int] | None = 1pad_token_id: int | None = 0num_mtp_layers: int = 0head_dim: int = 64 )
Tham số
- vocab_size (
int, tuỳ chọn, mặc định là262144) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởiinput_ids. - hidden_size (
int, tùy chọn, mặc định là4096) — Kích thước của các biểu diễn ẩn. - intermediate_size (
int, tùy chọn, mặc định là8192) — Kích thước của các biểu diễn MLP. - num_hidden_layers (
int, tùy chọn, mặc định là19) — Số lượng lớp ẩn trong bộ giải mã Transformer. - num_attention_heads (
int, tùy chọn, mặc định là64) — Số lượng đầu attention cho mỗi lớp attention trong bộ giải mã Transformer. - num_key_value_heads (
int, tùy chọn, mặc định là4) — Đây là số lượng key_value heads cần được sử dụng để triển khai Grouped Query Attention. Nếunum_key_value_heads=num_attention_heads, mô hình sẽ sử dụng Multi Head Attention (MHA), nếunum_key_value_heads=1mô hình sẽ sử dụng Multi Query Attention (MQA), ngược lại sẽ sử dụng GQA. Khi chuyển đổi checkpoint multi-head sang checkpoint GQA, mỗi nhóm key và value head nên được xây dựng bằng cách meanpooling tất cả các head gốc trong nhóm đó. Để biết thêm chi tiết, hãy xem bài báo này. Nếu không được chỉ định, giá trị mặc định sẽ lànum_attention_heads. - hidden_act (
str, tùy chọn, mặc định làsilu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ,"gelu","relu","silu", v.v. - max_position_embeddings (
int, tùy chọn, mặc định là131072) — Chiều dài chuỗi tối đa mà mô hình này có thể được sử dụng. - initializer_range (
float, tùy chọn, mặc định là0.006) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số. - rms_norm_eps (
float, tùy chọn, mặc định là1e-06) — Giá trị epsilon được sử dụng bởi các lớp chuẩn hóa rms. - use_cache (
bool, tùy chọn, mặc định làTrue) — Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếuconfig.is_decoder=Truehoặc khi mô hình là mô hình sinh chỉ có decoder. - tie_word_embeddings (
bool, tùy chọn, mặc định làFalse) — Có nên gắn kết các trọng số nhúng theo ánh xạtied_weights_keyscủa mô hình hay không. - rope_parameters (
Union[~modeling_rope_utils.RopeParameters, dict], tùy chọn) — Từ điển chứa các tham số cấu hình cho các embedding RoPE. Từ điển phải chứa một giá trị chorope_thetavà tùy chọn các tham số được sử dụng để mở rộng trong trường hợp bạn muốn sử dụng RoPE vớimax_position_embeddingsdài hơn. - attention_bias (
bool, tùy chọn, mặc định làFalse) — Có sử dụng bias trong các lớp chiếu query, key, value và output trong quá trình tự chú ý hay không. - attention_dropout (
Union[float, int], tùy chọn, mặc định là0.0) — Tỷ lệ dropout cho các xác suất chú ý. - moe_intermediate_size (
int, tùy chọn, mặc định là1024) — Kích thước trung gian của các MLP chuyên gia được định tuyến. - num_experts_per_tok (
int, tuỳ chọn, mặc định là6) — Số lượng chuyên gia để định tuyến mỗi token. Đây là giá trị top-k cho việc định tuyến chọn token. - output_router_logits (
bool, tùy chọn, mặc định làFalse) — Xác định xem có nên trả về router logits từ mô hình hay không. Bật tùy chọn này cũng cho phép mô hình xuất ra tổn thất bổ trợ, bao gồm tổn thất cân bằng tải và router z-loss. - n_shared_experts (
int, tùy chọn, mặc định là1) — Số lượng chuyên gia dùng chung. - n_routed_experts (
int, tùy chọn, mặc định là128) — Số lượng chuyên gia được định tuyến. - routed_scaling_factor (
float, tùy chọn, mặc định là2.5) — Hệ số tỷ lệ cho các chuyên gia được định tuyến. - n_group (
int, tùy chọn, mặc định là 1) — Số lượng nhóm cho các chuyên gia được định tuyến. - topk_group (
int, tuỳ chọn, mặc định là1) — Số lượng nhóm được chọn cho mỗi token (với mỗi token, đảm bảo các chuyên gia được chọn chỉ nằm trongtopk_groupnhóm). - first_k_dense_replace (
int, tuỳ chọn, mặc định là 1) — Số lượng lớp dense trong các lớp nông (embed->dense->moe->moe…->lm_head). --k dense layers—/ - norm_topk_prob (
bool, tùy chọn, mặc định làTrue) — Có nên chuẩn hóa trọng số của các chuyên gia được định tuyến hay không. - use_qk_norm (
bool, tùy chọn, mặc định làTrue) — Có sử dụng chuẩn hóa query-key trong cơ chế chú ý hay không. - bos_token_id (
int, tùy chọn) — Token id được sử dụng cho beginning-of-stream trong bảng từ vựng. - eos_token_id (
Union[int, list[int]], tùy chọn, mặc định là1) — Token id được sử dụng cho end-of-stream trong bảng từ vựng. - pad_token_id (
int, tùy chọn, mặc định là0) — Token id được sử dụng để đệm (padding) trong từ vựng. - num_mtp_layers (
int, tùy chọn, mặc định là 0) — Số lượng module Multi-Token Prediction (MTP) có thể được thêm vào sau mô hình transformer cơ sở. Các checkpoint được phát hành không bao gồm trọng số MTP. - head_dim (
int, tùy chọn, mặc định là64) — Kích thước chiều của đầu chú ý. Nếu là None, giá trị mặc định sẽ là hidden_size // num_attention_heads
Đây là lớp cấu hình để lưu trữ cấu hình của một Glm4MoeModel. Nó được sử dụng để khởi tạo một mô hình Sarvam Moe theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của sarvamai/sarvam-30b
Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.
Ví dụ:
>>> from transformers import AutoModelForCausalLM, SarvamMoEConfig
>>> # Initializing a Sarvam-30B style configuration
>>> configuration = SarvamMoEConfig()
>>> # Initializing a model (which uses the GLM-4-MoE implementation) from that configuration
>>> model = AutoModelForCausalLM.from_config(configuration)
>>> # Accessing the model configuration
>>> configuration = model.config