Huggingface.js documentation
Interface : MlxQuantizationConfig
Interface : MlxQuantizationConfig
Hiérarchie
-
↳
MlxQuantizationConfig
Indexable
▪ [clé : string] : unknown
Propriétés
bits
• Optional bits : number
Hérité de
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:930
config _ groupes
• Optional config_groups : Record<string, { format?: string ; targets?: string[] ; weights?: { num_bits?: number } }>
Hérité de
QuantizationConfig.config_groups
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:935
expert _ dtype
• Optional expert_dtype : string
Précision des experts routés lorsqu'elle diffère de celle du quantificateur principal (par exemple, des experts en FP4 avec une attention en FP8).
Hérité de
QuantizationConfig.expert_dtype
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:920
format
• Optional format : string
Hérité de
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:934
taille du groupe
• Optional group_size : number
Hérité de
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:928
ignore
• Optional ignore : string[]
compressed-tensors nomme sa liste d’exclusions ignore plutôt que modules_to_not_convert,
en utilisant la même syntaxe de cible préfixée par re: que config_groups[].targets.
Hérité de
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:940
load _ in _ 4bit
• Optional load_in_4bit : boolean
Hérité de
QuantizationConfig.load_in_4bit
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:931
load _ in _ 8bit
• Optional load_in_8bit : boolean
Hérité de
QuantizationConfig.load_in_8bit
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:932
mode
• Optional mode : string
Mode de quantification MLX (par exemple affine) ; les configurations MLX ne déclarent pas quant_method.
Hérité de
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:927
modules _ à _ ne _ pas _ convertir
• Optional modules_to_not_convert : string[]
Hérité de
QuantizationConfig.modules_to_not_convert
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:929
quant _ algo
• Optional quant_algo : string
algorithme NVIDIA ModelOpt (quant_method: "modelopt"), par exemple "NVFP4", "W4A16_NVFP4", "FP8",
ou "MIXED_PRECISION" — auquel cas l'algorithme par module se trouve dans quantized_layers.
Hérité de
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:945
quant _ method
• Optional quant_method : string
Hérité de
QuantizationConfig.quant_method
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:918
couches quantifiées
• Optional quantized_layers : Record<string, { quant_algo?: string }>
Précision mixte ModelOpt : nom du module (ou d'un module parent, par exemple …mlp.experts) -> son algorithme.
Hérité de
QuantizationConfig.quantized_layers
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:947
stocker _ dtype
• Optional store_dtype : string
Même rôle que expert_dtype sous un autre nom : MiMo-V2.6 utilise quant_method: "fp8" pour ses couches denses mais stocke les experts routés en store_dtype: "mxfp4", deux par U8.
Hérité de
QuantizationConfig.store_dtype
Défini dans
packages/hub/src/lib/parse-safetensors-metadata.ts:925
Update on GitHub