Hugging Face's logo

Transformers documentation

Evolla

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Эта модель была добавлена в Hugging Face Transformers 26.07.2025.

Evolla

Обзор

The Evolla model was proposed in Decoding the Molecular Language of Proteins with Evolla by Zhou et al..

Evolla — это продвинутая генеративная модель с 80 миллиардами параметров, предназначенная для декодирования молекулярного языка белков. Она интегрирует информацию из последовательностей, структур белков и запросов пользователя, чтобы генерировать точные и контекстуально выверенные выводы о функции белков. Обученная на беспрецедентном датасете, сгенерированном с помощью ИИ, содержащем 546 миллионов пар «вопрос-ответ» по белкам и 150 миллиардов токенов, Evolla существенно продвигает исследования в области протеомики и функциональной геномики, предоставляя экспертные знания и проливая свет на молекулярную логику, закодированную в белках.

Аннотация из статьи следующая:

Белки — сложные молекулярные машины природы, продукт миллиардов лет эволюции, — играют фундаментальную роль в поддержании жизни. Однако расшифровка их молекулярного языка, то есть понимание того, как последовательности и структуры белков кодируют и определяют биологические функции, остаётся одной из ключевых задач современной биологии. В данной работе мы представляем Evolla — генеративную модель языка белков масштаба 80 миллиардов параметров, разработанную для расшифровки молекулярного языка белков. Интегрируя информацию о последовательностях, структурах белков и запросах пользователя, Evolla генерирует точные и контекстуально выверенные выводы о функциях белков. Ключевое новшество Evolla заключается в её обучении на беспрецедентном датасете, сгенерированном с помощью ИИ: 546 миллионов пар «вопрос–ответ» о белках и 150 миллиардов токенов, созданных для отражения огромной сложности и функционального разнообразия белков. После предварительного обучения в Evolla интегрируются Direct Preference Optimization (DPO) для уточнения модели на основе сигналов предпочтений и Retrieval-Augmented Generation (RAG) для включения внешних знаний, что повышает качество и релевантность ответов. Для оценки производительности мы предлагаем новый фреймворк, Instructional Response Space (IRS), который демонстрирует, что Evolla обеспечивает экспертный уровень анализа, продвигая исследования в области протеомики и функциональной геномики и проливая свет на молекулярную логику, закодированную в белках. Онлайн-демо доступно по адресу http://www.chat-protein.com/.

Примеры:

processor = EvollaProcessor.from_pretrained("westlake-repl/Evolla-10B-DPO-hf")
model = EvollaForProteinText2Text.from_pretrained("westlake-repl/Evolla-10B-DPO-hf", device_map="auto")
# aa_seq should have same length as foldseek
protein_inputs = [
    {

        "aa_seq": "MATGGRRG...",
        "foldseek": "###lqpfd...", # hashtag means the low-confidence foldseek tokens
    },
    {
        "aa_seq": "MLPGLALL...",
        "foldseek": "dfwwkwad...",
    }
]
message_list = [
    [
        {
            "role": "system",
            "content": "You are an AI expert that can answer any questions about protein.",
        },
        {"role": "user", "content": "What is the function of this protein?"},
    ],
    [
        {
            "role": "system",
            "content": "You are an AI expert that can answer any questions about protein.",
        },
        {"role": "user", "content": "What is the function of this protein?"},
    ]
]
input_dict = processor(
    protein_inputs, messages_list, return_tensors="pt", text_max_length=512, protein_max_length=1024
)
with torch.no_grad():
    generated_ids = hf_model.generate(**input_dict)
generated_texts = processor.batch_decode(
    generated_ids, skip_special_tokens=True
)

Советы:

  • Эта модель была предоставлена Xibin Bayes Zhou.
  • Исходный код можно найти здесь.

EvollaConfig

класс transformers.EvollaConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneprotein_encoder_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonevocab_size: int = 128256hidden_size: int = 4096intermediate_size: int = 14336num_hidden_layers: int = 32num_attention_heads: int = 32num_key_value_heads: int | None = 8hidden_act: str = 'silu'max_position_embeddings: int = 8192rms_norm_eps: float = 1e-05rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int | None = 0.0mlp_bias: bool = Falsealigner_ffn_mult: int | None = 4aligner_enable_bias: bool | None = Truealigner_attention_probs_dropout_prob: float | None = 0.1aligner_num_add_layers: int | None = 8resampler_depth: int | None = 6resampler_dim_head: int | None = 64resampler_heads: int | None = 8resampler_num_latents: int | None = 64resampler_ff_mult: int | None = 4initializer_range: float = 0.02pad_token_id: int | None = Nonebos_token_id: int | None = 128000eos_token_id: int | list[int] | None = 128009use_cache: bool = Falsetie_word_embeddings: bool = Falseis_decoder: bool | None = Falseadd_cross_attention: bool | None = False )

Параметры

  • protein_encoder_config (dict, необязательный) — Словарь с параметрами конфигурации, используемыми для инициализации SaProtConfig.
  • vocab_size (int, необязательный, по умолчанию 128256) — Размер словаря модели. Определяет количество различных токенов, которые могут быть представлены в input_ids.
  • hidden_size (int, необязательный, по умолчанию 4096) — Размерность скрытых представлений.
  • intermediate_size (int, необязательный, по умолчанию 14336) — Размерность представлений MLP.
  • num_hidden_layers (int, необязательный, по умолчанию 32) — Количество скрытых слоев в декодере Transformer.
  • num_attention_heads (int, необязательный, по умолчанию 32) — Количество головок внимания в каждом слое внимания декодера Transformer.
  • num_key_value_heads (int, необязательный, по умолчанию 8) — Это количество ключевых и value-голов, используемых для реализации Grouped Query Attention. Если num_key_value_heads=num_attention_heads, модель использует Multi Head Attention (MHA); если num_key_value_heads=1 — Multi Query Attention (MQA); в остальных случаях применяется GQA. При конвертации мультиголовного чекпоинта в GQA-чекпоинт каждая групповая ключевая и value-голова должна конструироваться путем усреднения (meanpooling) всех исходных голов в этой группе. Дополнительные подробности — в этой статье. Если значение не указано, по умолчанию используется num_attention_heads.
  • hidden_act (str, необязательный, по умолчанию silu) — Нелинейная функция активации (функция или строка) в декодере. Например, "gelu", "relu", "silu" и т. д.
  • max_position_embeddings (int, необязательный, по умолчанию 8192) — Максимальная длина последовательности, с которой может использоваться эта модель.
  • rms_norm_eps (float, необязательный, по умолчанию 1e-05) — Значение epsilon, используемое слоями нормализации rms.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], необязательный) — Словарь, содержащий параметры конфигурации для эмбеддингов RoPE. Словарь должен содержать значение для rope_theta и, при необходимости, параметры, используемые для масштабирования, если вы хотите использовать RoPE с более длинными max_position_embeddings.
  • attention_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение (bias) в слоях проекции query, key, value и output при само-внимании.
  • attention_dropout (Union[float, int], необязательный, по умолчанию 0.0) — Коэффициент dropout для вероятностей внимания.
  • mlp_bias (bool, необязательный, по умолчанию False) — Использовать ли смещение (bias) в слоях up_proj, down_proj и gate_proj внутри MLP-слоёв.
  • aligner_ffn_mult (int, необязательный, по умолчанию 4) — Множитель FFN для слоя aligner.
  • aligner_enable_bias (bool, необязательный, по умолчанию True) — Использовать ли смещение (bias) в слое aligner.
  • aligner_attention_probs_dropout_prob (float, необязательный, по умолчанию 0.1) — Коэффициент dropout для вероятностей внимания в слое aligner.
  • aligner_num_add_layers (int, необязательный, по умолчанию 8) — Количество дополнительных слоев для слоя aligner.
  • resampler_depth (int, необязательный, по умолчанию 6) — Глубина слоя ресемплера в модели Llama.
  • resampler_dim_head (int, необязательный, по умолчанию 64) — Размерность голов в слое resampler в модели Llama.
  • resampler_heads (int, необязательный, по умолчанию 8) — Количество головок в слое resampler в модели Llama.
  • resampler_num_latents (int, необязательный, по умолчанию 64) — Количество латентов в слое resampler в модели Llama.
  • resampler_ff_mult (int, необязательный, по умолчанию 4) — Множитель FFN для слоя resampler.
  • initializer_range (float, необязательный, по умолчанию 0.02) — Стандартное отклонение truncated_normal_initializer, используемое для инициализации всех матриц весов.
  • pad_token_id (int, необязательный) — Идентификатор токена, используемого для выравнивания в словаре.
  • bos_token_id (int, необязательный, по умолчанию 128000) — Идентификатор токена, используемого для обозначения начала потока в словаре.
  • eos_token_id (Union[int, list[int]], необязательный, по умолчанию 128009) — Идентификатор токена, используемого для обозначения конца потока в словаре.
  • use_cache (bool, необязательный, по умолчанию False) — Указывает, должен ли модель возвращать последние ключи/значения внимания (не используется во всех моделях). Актуально только если config.is_decoder=True или если модель является генеративной моделью только с декодером.
  • tie_word_embeddings (bool, необязательный, по умолчанию False) — Определяет, следует ли связывать веса эмбеддингов согласно маппингу tied_weights_keys модели.
  • is_decoder (bool, необязательный, по умолчанию False) — Указывает, используется ли модель в качестве декодера. Если False, модель используется как энкодер.
  • add_cross_attention (bool, необязательный, по умолчанию False) — Указывает, следует ли добавлять слои кросс-внимания в модель.

Это класс конфигурации для хранения настроек модели EvollaModel. Он используется для создания модели Evolla в соответствии с указанными аргументами, определяя архитектуру модели. Создание конфигурации с параметрами по умолчанию даст конфигурацию, аналогичную конфигурации westlake-repl/Evolla-10B-hf

Объекты конфигурации наследуются от PreTrainedConfig и могут использоваться для управления выводами модели. Подробнее читайте в документации PreTrainedConfig.

Пример:

>>> from transformers import EvollaModel, EvollaConfig

>>> # Initializing a Evolla evolla-10b style configuration
>>> configuration = EvollaConfig()

>>> # Initializing a model from the evolla-10b style configuration
>>> model = EvollaModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

EvollaModel

класс transformers.EvollaModel

< >

( config: EvollaConfig )

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Noneprotein_input_ids: typing.Optional[torch.LongTensor] = Noneprotein_attention_mask: typing.Optional[torch.Tensor] = Nonestructure_feats: typing.Optional[torch.Tensor] = Nonemsa_feats: typing.Optional[torch.Tensor] = Nonestructure_batch_mask: typing.Optional[torch.Tensor] = Nonemsa_batch_mask: typing.Optional[torch.Tensor] = None**kwargs ) → BaseModelOutputWithPast or tuple(torch.Tensor)

Параметры

  • input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.

    Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

    Что такое входные идентификаторы?

  • attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
    • 1 для токенов, которые не замаскированы,
    • 0 для токенов, которые замаскированы.

    Что такое маски внимания?

  • position_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы позиций токенов каждого входного последовательности в позиционных эмбеддингах. Выбираются из диапазона [0, config.n_positions - 1].

    Что такое идентификаторы позиций?

  • past_key_values (~cache_utils.Cache, необязательный) — Предвычисленные скрытые состояния (ключи и значения в блоках само-внимания и кросс-внимания), которые можно использовать для ускорения последовательного декодирования. Обычно это past_key_values , возвращённые моделью на предыдущем этапе декодирования, когда use_cache=True или config.use_cache=True.

    В качестве входного параметра допускается только экземпляр Cache, см. наше руководство по кэшу KV. Если past_key_values не переданы, по умолчанию будет инициализирован DynamicCache.

    Модель будет выводить тот же формат кэша, который был передан на вход.

    Если используются past_key_values, ожидается, что пользователь передаст только необработанные input_ids (те, для которых в этой модели ещё не заданы состояния прошлых ключей и значений) формы (batch_size, unprocessed_length), а не все input_ids формы (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.
  • use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).
  • protein_input_ids (torch.LongTensor, необязательный) — Входные ID для последовательности белка в токенах, учитывающих структуру. Должна иметь форму (batch_size, protein_seq_length) и тип torch.LongTensor.
  • protein_attention_mask (torch.Tensor, необязательный) — Маска внимания для последовательности белка. Должна иметь форму (batch_size, protein_seq_length) и тип torch.Tensor.
  • structure_feats (torch.Tensor, необязательный) — Входные идентификаторы для чисто структурных признаков. Должен иметь форму (batch_size, structure_seq_length, structure_feat_dim) и тип torch.Tensor. Пока что это фиктивный вход.
  • msa_feats (torch.Tensor, необязательный) — Входные идентификаторы для чисто MSA-основанных признаков. Должен иметь форму (batch_size, msa_seq_length, msa_feat_dim) и тип torch.Tensor. Пока что это фиктивный вход.
  • structure_batch_mask (torch.Tensor, необязательный) — Маска батча для определения, какие последовательности белков основаны исключительно на структуре. Должна иметь форму (batch_size) и тип torch.Tensor. Должна использоваться в паре с structure_feats. Пока что является фиктивным входом.
  • msa_batch_mask (torch.Tensor, необязательный) — Маска батча для определения, какие последовательности белков основаны исключительно на MSA. Должна иметь форму (batch_size) и тип torch.Tensor. Должна использоваться в паре с msa_feats. На данный момент является фиктивным входом.

Возвращает

BaseModelOutputWithPast или tuple(torch.Tensor)

BaseModelOutputWithPast или кортеж torch.Tensor (если передано return_dict=False или если config.return_dict=False), содержащий различные элементы в зависимости от конфигурации (None) и входных данных.

Метод forward класса EvollaModel переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

  • last_hidden_state (torch.Tensor формы (batch_size, sequence_length, hidden_size)) — Последовательность скрытых состояний на выходе последнего слоя модели.

    Если используется past_key_values, выводится только последнее скрытое состояние последовательностей формы (batch_size, 1, hidden_size).

  • past_key_values (Cache, необязательный, возвращается при передаче use_cache=True или когда config.use_cache=True) — это экземпляр Cache. Подробнее см. в нашем руководстве по кэшу kv.

    Содержит предварительно вычисленные скрытые состояния (ключи и значения в блоках само-внимания и, при необходимости, если config.is_encoder_decoder=True, в блоках кросс-внимания), которые можно использовать (см. входной параметр past_key_values) для ускорения последовательного декодирования.

  • hidden_states (tuple(torch.Tensor), optional, возвращается, если передано output_hidden_states=True или если config.output_hidden_states=True) — кортеж из torch.Tensor (один для вывода слоя встраиваний, если модель имеет слой встраиваний, + один для вывода каждого слоя) формы (batch_size, sequence_length, hidden_size).

    Скрытые состояния модели на выходе каждого слоя, а также необязательные выходные значения начального слоя встраивания.

  • attentions (tuple(torch.Tensor), необязательный, возвращается при передаче output_attentions=True или при config.output_attentions=True) — Кортеж torch.Tensor (по одному на каждый слой) формы (batch_size, num_heads, sequence_length, sequence_length).

    Веса внимания после softmax в механизме внимания, используемые для вычисления взвешенного среднего в головах само-внимания.

EvollaForProteinText2Text

класс transformers.EvollaForProteinText2Text

< >

( config: EvollaConfig )

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneprotein_input_ids: typing.Optional[torch.LongTensor] = Noneprotein_attention_mask: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs )

Параметры

  • input_ids (torch.LongTensor формы (batch_size, sequence_length), , необязательный) — Индексы токенов входной последовательности в словаре. По умолчанию токены отсечки (padding) игнорируются.

    Индексы можно получить с помощью AutoTokenizer. Подробности см. в PreTrainedTokenizer.encode() и PreTrainedTokenizer.call().

    Что такое входные идентификаторы?

  • attention_mask (torch.Tensor формы (batch_size, sequence_length), , необязательный) — Маска для исключения токенов-заполнителей из внимания. Значения маски из диапазона [0, 1]:
    • 1 для токенов, которые не замаскированы,
    • 0 для токенов, которые замаскированы.

    Что такое маски внимания?

  • inputs_embeds (torch.Tensor формы (batch_size, sequence_length, hidden_size), необязательный) — При необходимости, вместо передачи input_ids можно напрямую передать встроенное представление. Это полезно, если требуется больший контроль над тем, как индексы input_ids преобразуются в соответствующие векторы, чем это обеспечивает внутренняя матрица поиска встраиваний модели.
  • labels (torch.LongTensor формы (batch_size, sequence_length), необязательный) — Метки для вычисления потерь маскированного языкового моделирования. Индексы должны находиться в диапазоне [0, ..., config.vocab_size] или быть равны -100 (см. docstring input_ids). Токены с индексами, установленными в -100, игнорируются (маскируются); потери вычисляются только для токенов с метками в диапазоне [0, ..., config.vocab_size].
  • protein_input_ids (torch.LongTensor, необязательный) — Входные идентификаторы для последовательности белка. Должны иметь форму (batch_size, protein_seq_length) и тип torch.LongTensor.
  • protein_attention_mask (torch.Tensor, необязательный) — Маска внимания для последовательности белка. Должна иметь форму (batch_size, protein_seq_length) и тип torch.Tensor.
  • use_cache (bool, необязательный) — Если установлено в True, возвращаются состояния ключей и значений past_key_values, которые можно использовать для ускорения декодирования (см. past_key_values).
  • logits_to_keep (Union[int, torch.Tensor], необязательный, по умолчанию 0) — Если передано значение типа int, вычисляет logits для последних logits_to_keep токенов. Если указано 0, logits вычисляются для всех input_ids (особый случай). Для генерации нужны logits только последнего токена, и вычисление их только для этого токена позволяет сэкономить память, что становится весьма значимым для длинных последовательностей или большого размера словаря. Если передано значение типа torch.Tensor, оно должно быть одномерным и соответствовать индексам, которые нужно сохранить в измерении длины последовательности. Это полезно при использовании упакованного формата тензоров (один размер для batch и длины последовательности).

Метод forward класса EvollaForProteinText2Text переопределяет специальный метод __call__.

Хотя рецепт для прямого прохода должен быть определён внутри этой функции, после этого следует вызывать экземпляр Module, а не эту функцию, поскольку первый вариант обеспечивает выполнение шагов предварительной и последующей обработки, тогда как второй молча их игнорирует.

Пример:

>>> from transformers import EvollaProcessor, EvollaForProteinText2Text
>>> model = EvollaForProteinText2Text.from_pretrained("westlake/Evolla-10B-hf")
>>> processor = EvollaProcessor.from_pretrained("westlake/Evolla-10B-hf")

>>> protein_information = {
    "aa_seq": "your amino acid sequence",
    "foldseek": "your foldseek sequence",
}
>>> question = "What is the function of this protein?"
>>> message = [
    {"role": "system", "content": "You are an AI expert that can answer any questions about protein."},
    {"role": "user", "content": question},
]

>>> inputs = processor(proteins=[protein_information], messages_list=[message], return_tensors="pt", padding="longest")
>>> outputs = model.generate(**inputs)

>>> print(processor.batch_decode(outputs, skip_special_tokens=True))

EvollaProcessor

класс transformers.EvollaProcessor

< >

( protein_tokenizertokenizer = Noneprotein_max_length = 1024text_max_length = 512**kwargs )

Параметры

  • protein_tokenizer (EsmTokenizer) — экземпляр EsmTokenizer. Токенизатор белков является обязательным входным параметром.
  • tokenizer (tokenizer_class) — Токенизатор является обязательным входным параметром.
  • protein_max_length (int, необязательный, по умолчанию 1024) — Максимальная длина генерируемой последовательности.
  • text_max_length (int, необязательный, по умолчанию 512) — Максимальная длина генерируемого текста.

Создаёт EvollaProcessor, который объединяет токенизатор белков и токенизатор в единый процессор.

EvollaProcessor предоставляет все возможности {protein_tokenizer_class} и tokenizer_class. Подробнее см. в документации ~{protein_tokenizer_class} и ~tokenizer_class.

__call__

< >

( proteins: list[dict] | dict | None = Nonemessages_list: list[list[dict]] | list[dict] | None = Noneprotein_max_length: int | None = Nonetext_max_length: int | None = None**kwargs ) → a dict with following keys

Параметры

  • proteins (Union[List[dict], dict]) — Список словарей или один словарь, содержащий следующие ключи:
    • "aa_seq" (str) — Аминокислотная последовательность белка.
    • "foldseek" (str) — строка foldseek для данного белка.
  • messages_list (Union[List[List[dict]], List[dict]]) — Список списков словарей или список словарей, содержащих следующие ключи:
    • "role" (str) — Роль сообщения.
    • "content" (str) — Содержимое сообщения.
  • protein_max_length (int, необязательный, по умолчанию 1024) — Максимальная длина генерируемой последовательности.
  • text_max_length (int, необязательный, по умолчанию 512) — Максимальная длина текста.
  • return_tensors (str или TensorType, необязательный) — Если задано, возвращает тензоры конкретного фреймворка. Допустимые значения:
    • 'pt': возвращает объекты torch.Tensor PyTorch.
    • 'np': возвращает объекты NumPy np.ndarray.

Возвращает

словарь со следующими ключами

  • protein_input_ids (torch.Tensor формы (batch_size, sequence_length)) — Вводные идентификаторы для последовательности белка.
  • protein_attention_mask (torch.Tensor формы (batch_size, sequence_length)) — Маска внимания для последовательности белка.
  • text_input_ids (torch.Tensor формы (batch_size, sequence_length)) — Вводные идентификаторы для текстовой последовательности.
  • text_attention_mask (torch.Tensor формы (batch_size, sequence_length)) — Маска внимания для текстовой последовательности.
Update on GitHub

←ernie4_5_vl_moe FastVLM→