Transformers documentation

Audio Flamingo 3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2025-07-10 dan disumbangkan ke Hugging Face Transformers pada 2025-11-12.

Audio Flamingo 3

Ikhtisar

Audio Flamingo 3 (AF3) adalah model audio–bahasa besar yang sepenuhnya terbuka, dirancang untuk pemahaman dan penalaran yang tangguh terhadap ucapan, suara lingkungan, dan musik. AF3 menggabungkan encoder audio bergaya Whisper dengan model bahasa kausal dan melakukan fusi audio–teks dengan penggantian di tempat: prosesor menyelaraskan frame audio pasca-pooling ke token placeholder khusus, dan model mengganti slot token tersebut dengan embedding audio yang diproyeksikan selama forward pass.

Checkpoint model tersedia di: nvidia/audio-flamingo-3-hf

Sorotan:

Encoder audio terpadu untuk ucapan, suara, dan musik.
Dukungan audio panjang melalui windowing dan post-pool alignment (maksimum 10 menit). Model memproses audio dalam jendela 30 detik dengan batas keras 20 jendela (total 10 menit). Audio yang lebih panjang dari 10 menit akan dipotong.
Fusi deterministik yang mempertahankan panjang urutan dengan mengganti token placeholder audio dengan embedding audio.

Model ini disumbangkan oleh Lasha Koroshinadze dan Eric Bezzam.

Makalah

Audio Flamingo 3: Mendorong Kecerdasan Audio dengan Model Bahasa Audio Besar yang Sepenuhnya Terbuka
A. Goel, S. Ghosh, J. Kim, S. Kumar, Z. Kong, S. Lee, C.-H. H. Yang, R. Duraiswami, D. Manocha, R. Valle, B. Catanzaro
NVIDIA dan University of Maryland
Proyek: https://research.nvidia.com/labs/adlr/AF3/

Penggunaan

Mode Instruct Audio

Model ini mendukung instruksi audio-teks, termasuk interaksi multi-turn, yang semuanya diproses dalam batch.

➡️ audio + instruksi teks

from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor


model_id = "nvidia/audio-flamingo-3-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Transcribe the input speech."},
            {"type": "audio", "path": "https://huggingface.co/datasets/nvidia/AudioSkills/resolve/main/assets/WhDJDIviAOg_120_10.mp3"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, max_new_tokens=500)

decoded_outputs = processor.decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(decoded_outputs)

➡️ multi-turn:

from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor


model_id = "nvidia/audio-flamingo-3-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")

conversation = [
    {
        "role": "user",
        "content": [
            {
                "type": "text",
                "text": "Instruction: How does the tone of female speech change throughout the audio? Choose the correct option among the options below: (A) Sad to happy (B) Happy to sad (C) Neutral to happy (D) Happy to neutral.",
            },
            {"type": "audio", "path": "https://huggingface.co/datasets/nvidia/AudioSkills/resolve/main/assets/000000786159.31.wav"},
        ],
    },
    {
        "role": "assistant",
        "content": [{"type": "text", "text": "(A) Sad to happy"}],
    },
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "Why do you think so?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, max_new_tokens=500)

decoded_outputs = processor.decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(decoded_outputs)

➡️ hanya teks:

from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor


model_id = "nvidia/audio-flamingo-3-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "What is the capital of France?"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, max_new_tokens=500)

decoded_outputs = processor.decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(decoded_outputs)

➡️ hanya audio:

from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor


model_id = "nvidia/audio-flamingo-3-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "audio", "path": "https://huggingface.co/datasets/nvidia/AudioSkills/resolve/main/assets/WhDJDIviAOg_120_10.mp3"},
        ],
    }
]

inputs = processor.apply_chat_template(
    conversation,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, max_new_tokens=500)

decoded_outputs = processor.decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(decoded_outputs)

➡️ inferensi berbatch!

from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor


model_id = "nvidia/audio-flamingo-3-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")

conversations = [
    [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "Transcribe the input speech."},
                {
                    "type": "audio",
                    "path": "https://huggingface.co/datasets/nvidia/AudioSkills/resolve/main/assets/t_837b89f2-26aa-4ee2-bdf6-f73f0dd59b26.wav",
                },
            ],
        }
    ],
    [
        {
            "role": "user",
            "content": [
                {
                    "type": "text",
                    "text": "This track feels really peaceful and introspective. What elements make it feel so calming and meditative?",
                },
                {"type": "audio", "path": "https://huggingface.co/datasets/nvidia/AudioSkills/resolve/main/assets/FPSbCAANfbJLVSwD.mp3"},
            ],
        }
    ],
]

inputs = processor.apply_chat_template(
    conversations,
    tokenize=True,
    add_generation_prompt=True,
    return_dict=True,
).to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, max_new_tokens=500)

decoded_outputs = processor.decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True)
print(decoded_outputs)

➡️ Pelatihan:

transkripsi

template chat

➡️ pintasan transkripsi

from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor


model_id = "nvidia/audio-flamingo-3-hf"
processor = AutoProcessor.from_pretrained(model_id)
model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")

inputs = processor.apply_transcription_request(audio="https://huggingface.co/datasets/nvidia/AudioSkills/resolve/main/assets/t_837b89f2-26aa-4ee2-bdf6-f73f0dd59b26.wav").to(model.device, dtype=model.dtype)

outputs = model.generate(**inputs, max_new_tokens=500)
decoded_outputs = processor.decode(outputs[:, inputs.input_ids.shape[1]:], skip_special_tokens=True, strip_prefix=True)

print(decoded_outputs)

Model dilatih untuk mengeluarkan transkripsi yang diawali dengan framing asisten seperti The spoken content of the audio is "<text>".. Gunakan strip_prefix=True (seperti yang ditunjukkan di atas) untuk menghapus kalimat asisten yang tetap dan tanda kutip di sekitarnya sehingga hanya transkripsi yang tersisa.

Cara kerja model

Arsitektur

AudioFlamingo3Encoder Ekstraktor fitur + encoder bergaya Whisper → average-pool di sepanjang waktu (stride 2) → LayerNorm. Menghasilkan hidden states per frame pada laju pasca-pool.
AudioFlamingo3MultiModalProjector MLP kecil yang memetakan fitur encoder ke ukuran tersembunyi model bahasa.
AudioFlamingo3ForConditionalGeneration Model bahasa kausal yang menerima embedding teks, di mana setiap slot token placeholder audio diganti, di tempatnya, oleh embedding frame audio. Tidak ada perubahan panjang urutan yang diperkenalkan oleh fusi.

Penyelarasan tingkat prosesor

Setiap gelombang mentah dipecah menjadi jendela dengan panjang tetap berdasarkan chunk_length (detik) dan sampling_rate (Hz) dari feature extractor.
Untuk setiap jendela, prosesor menghitung jumlah frame pasca-pool post_pool_len yang akan dioutput oleh encoder (sesuai dengan jadwal conv/pool).
Processor memperluas token placeholder audio berdasarkan jumlah total frame pasca-pooling di seluruh jendela.
Model kemudian mengganti posisi token tersebut dengan embedding audio yang diproyeksikan secara sesuai.

Pola penggunaan

Jalan pintas transkripsi

Untuk pengenalan ucapan otomatis, Anda dapat melewati penulisan instruksi default setiap kali dan memanggil apply_transcription_request():

inputs = processor.apply_transcription_request(audio=audio_array)

Lewati prompt="Transcribe the input speech." (atau daftar prompt untuk audio batch) untuk menyesuaikan instruksi sambil tetap mempertahankan penanganan placeholder audio.

audio menerima array in-memory, path file lokal, atau URL. Argumen processor mana pun (text_kwargs, audio_kwargs, dll.) diteruskan, sehingga Anda dapat menyesuaikan padding atau format tensor sama seperti saat memanggil processor(...).

Audio panjang dan windowing

Penting: Panjang audio maksimum adalah 10 menit. Audio yang lebih panjang dari ini akan dipotong.

Pengaturan default memproses jendela 30 detik pada 16 kHz mono.
Processor menerapkan batas keras 20 jendela per sampel, yang menghasilkan durasi audio maksimum 10 menit (20 jendela × 30 detik).
Untuk setiap jendela:
- mel_len adalah panjang mel yang telah di-*padding*.
- Stack conv mengurangi waktu karena conv_output_len = (mel_len - 1) // 2 + 1.
- Frame per jendela pasca-pooling: post_pool_len = (conv_output_len - 2) // 2 + 1.
- Token placeholder audio diperluas menjadi jumlah dari post_pool_len di semua jendela.

Padding, perhatian, dan penyangga

Padding kiri vs padding kanan Untuk generasi dengan panjang prompt yang bervariasi dalam satu batch, padding kiri biasanya lebih disukai. Untuk pelatihan, padding kanan umum digunakan; mekanisme fusi AF3 sendiri tidak bergantung pada padding karena ia mengganti secara in-place.
Mask perhatian Prosesor mengembalikan attention_mask (teks) dan input_features_mask (audio). Model membangun mask 4-D internal pada sumbu pra-pooling encoder dengan nilai negatif tak hingga pada posisi pad.
Penyimpanan sementara Selama generasi, input_features dan input_features_mask hanya diteruskan pada langkah pertama. Langkah-langkah berikutnya menggunakan kunci/nilai yang disimpan sementara dari model bahasa.

Pemecahan Masalah

Output kosong atau terpotong saat batching Gunakan left padding untuk generasi batched dan dekode hanya token baru setelah panjang prompt, seperti yang ditunjukkan di quickstart.

AudioFlamingo3Config

kelas transformers.AudioFlamingo3Config

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_token_id: int = 151669projector_hidden_act: str = 'gelu'projector_bias: bool = True )

Parameter

audio_config (Union[dict, ~configuration_utils.PreTrainedConfig], opsional) — Objek config atau dictionary dari audio backbone.
text_config (Union[dict, ~configuration_utils.PreTrainedConfig], opsional) — Objek config atau dictionary dari text backbone.
audio_token_id (int, opsional, default 151669) — Indeks token audio yang digunakan sebagai placeholder untuk audio input.
projector_hidden_act (str, opsional, defaultnya gelu) — Fungsi aktivasi yang digunakan oleh proyektor multimodal.
projector_bias (bool, opsional, default True) — Apakah akan menggunakan bias pada multimodal projector.

Ini adalah kelas konfigurasi untuk menyimpan konfigurasi dari AudioFlamingo3Model. Kelas ini digunakan untuk membuat instans model Audioflamingo3 berdasarkan argumen yang ditentukan, yang mendefinisikan arsitektur model. Membuat instans konfigurasi dengan nilai bawaan akan menghasilkan konfigurasi yang serupa dengan konfigurasi dari nvidia/audio-flamingo-3-hf

Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.

Contoh:

>>> from transformers import AudioFlamingo3ForConditionalGeneration, AudioFlamingo3Config, AudioFlamingo3EncoderConfig, Qwen2Config

>>> # Initializing an AudioFlamingo3Encoder config
>>> audio_config = AudioFlamingo3EncoderConfig()

>>> # Initializing a Qwen2 config
>>> text_config = Qwen2Config()

>>> # Initializing an AudioFlamingo3 configuration
>>> configuration = AudioFlamingo3Config(audio_config, text_config)

>>> # Initializing a model from the audioflamingo3 style configuration
>>> model = AudioFlamingo3ForConditionalGeneration(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

AudioFlamingo3EncoderConfig

kelas transformers.AudioFlamingo3EncoderConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonenum_mel_bins: int = 128num_hidden_layers: int = 32num_attention_heads: int = 20intermediate_size: int = 5120layerdrop: float | int = 0.0activation_function: str = 'gelu'hidden_size: int = 1280dropout: float | int = 0.0attention_dropout: float | int = 0.0activation_dropout: float | int = 0.0initializer_range: float = 0.02scale_embedding: bool = Falsemax_source_positions: int = 1500 )

Parameter

num_mel_bins (int, opsional, default 128) — Jumlah fitur mel yang digunakan per frame input. Seharusnya sesuai dengan nilai yang digunakan di kelas AutoFeatureExtractor.
num_hidden_layers (int, opsional, default 32) — Jumlah lapisan tersembunyi dalam decoder Transformer.
num_attention_heads (int, opsional, default 20) — Jumlah attention head untuk setiap lapisan attention di decoder Transformer.
intermediate_size (int, opsional, default 5120) — Dimensi representasi MLP.
layerdrop (Union[float, int], opsional, default 0.0) — Probabilitas LayerDrop. Lihat [makalah LayerDrop](lihat https://huggingface.co/papers/1909.11556) untuk detail lebih lanjut.
activation_function (str, opsional, defaultnya gelu) — Fungsi aktivasi non-linear (fungsi atau string) di decoder. Misalnya, "gelu", "relu", "silu", dan sebagainya.
hidden_size (int, opsional, default 1280) — Dimensi dari representasi tersembunyi.
dropout (Union[float, int], opsional, default 0.0) — Rasio untuk semua lapisan dropout.
attention_dropout (Union[float, int], opsional, default 0.0) — Rasio dropout untuk probabilitas perhatian.
activation_dropout (Union[float, int], opsional, defaultnya 0.0) — Rasio dropout untuk aktivasi di dalam lapisan fully connected.
initializer_range (float, opsional, defaultnya 0.02) — Standar deviasi dari truncated_normal_initializer untuk menginisialisasi semua matriks bobot.
scale_embedding (bool, opsional, default False) — Apakah akan menskalakan embedding dengan membaginya oleh sqrt(d_model).
max_source_positions (int, opsional, default 1500) — Panjang maksimum sekuens fitur log-mel filter-bank yang mungkin digunakan dengan model ini.

Objek konfigurasi mewarisi dari PreTrainedConfig dan dapat digunakan untuk mengontrol output model. Baca dokumentasi dari PreTrainedConfig untuk informasi lebih lanjut.

Contoh:

>>> from transformers import AudioFlamingo3EncoderConfig, AudioFlamingo3Encoder

>>> # Initializing an AudioFlamingo3EncoderConfig
>>> configuration = AudioFlamingo3EncoderConfig()

>>> # Initializing an AudioFlamingo3Encoder (with random weights)
>>> model = AudioFlamingo3Encoder(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

AudioFlamingo3Processor

kelas transformers.AudioFlamingo3Processor

< source >

( feature_extractortokenizerchat_template = Noneaudio_token = '<sound>'default_transcription_prompt = 'Transcribe the input speech.'max_audio_len = 600 )

Parameter

feature_extractor (WhisperFeatureExtractor) — Feature extractor adalah input yang wajib.
tokenizer (Qwen2Tokenizer) — Tokenizer adalah input yang wajib.
chat_template (str) — Template Jinja untuk mengubah daftar pesan dalam chat menjadi string yang dapat ditokenisasi.
audio_token (Optional[str], opsional, default "<sound>") — Token khusus yang digunakan untuk merepresentasikan input audio dalam template chat.
default_transcription_prompt (str, opsional, defaultnya "Transcribe the input speech.") — Prompt default yang digunakan untuk tugas transkripsi saat menerapkan permintaan transkripsi.
max_audio_len (int, opsional, default 600) — Panjang maksimum urutan audio dalam detik. Audio yang lebih panjang dari ini akan dipotong.

Membangun AudioFlamingo3Processor yang membungkus feature extractor dan tokenizer menjadi satu processor.

AudioFlamingo3Processor menyediakan semua fungsionalitas dari WhisperFeatureExtractor dan Qwen2Tokenizer. Lihat ~WhisperFeatureExtractor dan ~Qwen2Tokenizer untuk informasi lebih lanjut.

call

< source >

( text: str | list[str]audio: typing.Union[numpy.ndarray, ForwardRef('torch.Tensor'), collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence['torch.Tensor'], NoneType] = Noneoutput_labels: bool | None = False**kwargs: *<class 'transformers.models.audioflamingo3.processing_audioflamingo3.AudioFlamingo3ProcessorKwargs'> ) → BatchFeature

Parameter

text (Union[str, list[str]]) — Urutan atau batch dari urutan yang akan dienkod. Setiap urutan dapat berupa string atau daftar string (string yang sudah dipretokenisasi). Jika Anda memasukkan input yang sudah dipretokenisasi, atur is_split_into_words=True untuk menghindari ambiguitas dengan input yang di-batch.
audio (Union[numpy.ndarray, torch.Tensor, collections.abc.Sequence[numpy.ndarray], collections.abc.Sequence[torch.Tensor]], opsional) — Audio atau batch audio yang akan disiapkan. Setiap audio dapat berupa array NumPy atau tensor PyTorch. Jika berupa array NumPy/tensor PyTorch, setiap audio harus memiliki bentuk (C, T), di mana C adalah jumlah channel, dan T adalah panjang sampel dari audio tersebut.
output_labels (bool, opsional, default=False) — Apakah akan mengembalikan label untuk pelatihan.
return_tensors (str atau TensorType, opsional) — Jika diset, akan mengembalikan tensor dari framework tertentu. Nilai yang dapat diterima adalah:
- 'pt': Mengembalikan objek PyTorch torch.Tensor.
- 'np': Mengembalikan objek NumPy np.ndarray.
**kwargs (ProcessingKwargs, opsional) — Opsi pemrosesan tambahan untuk setiap modalitas (teks, gambar, video, audio). Parameter spesifik model tercantum di atas; lihat kelas TypedDict untuk daftar lengkap argumen yang didukung.

Mengembalikan

BatchFeature

Kamus dengan teks yang ditokenisasi (input_ids, attention_mask) dan fitur audio (input_features, input_features_mask).

AudioFlamingo3Encoder

kelas transformers.AudioFlamingo3Encoder

< source >

( config: AudioFlamingo3EncoderConfig )

Parameter

config (AudioFlamingo3EncoderConfig) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model audio dari AudioFlamingo3 tanpa head atau proyeksi di atasnya.

Model ini mewarisi dari PreTrainedModel. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan oleh pustaka untuk semua model (seperti mengunduh atau menyimpan, mengubah ukuran embedding input, memangkas kepala, dll.)

Model ini juga merupakan subclass dari torch.nn.Module PyTorch. Gunakan sebagai PyTorch Module biasa dan merujuk ke dokumentasi PyTorch untuk semua hal yang berkaitan dengan penggunaan dan perilaku umum.

forward

< source >

( input_features: Tensorinput_features_mask: typing.Optional[torch.Tensor] = None**kwargs )

Parameter

input_features (torch.Tensor dengan bentuk (batch_size, feature_size, sequence_length)) — Fitur Log-Mel yang diekstrak dari audio mentah. Gunakan processor/feature extractor untuk menghitung dan melakukan padding pada fitur-fitur ini dari input waveform.
input_features_mask (torch.Tensor dengan bentuk (batch_size, sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks fitur padding. Nilai mask dipilih dari [0, 1]:
- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.

AudioFlamingo3Model

kelas transformers.AudioFlamingo3Model

< source >

( config: AudioFlamingo3Config )

Parameter

config (AudioFlamingo3Config) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model AudioFlamingo3 (encoder Whisper yang telah dihaluskan, proyektor multi-modal, model bahasa Qwen2), tanpa kepala pemodelan bahasa.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneinput_features: typing.Optional[torch.Tensor] = Noneinput_features_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Noneuse_cache: bool | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → AudioFlamingo3ModelOutputWithPast or tuple(torch.Tensor)

Parameter

input_ids (torch.LongTensor dengan bentuk (batch_size, sequence_length), opsional) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.
Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.

Apa itu input ID?
input_features (torch.Tensor dengan bentuk (batch_size, sequence_length, feature_dim), opsional) — Tensor yang sesuai dengan fitur audio input. Fitur audio dapat diperoleh menggunakan WhisperFeatureExtractor. Lihat WhisperFeatureExtractor.call() untuk detailnya (AudioFlamingo3Processor menggunakan WhisperFeatureExtractor untuk memproses audio).
input_features_mask (torch.Tensor dengan bentuk (batch_size, feature_sequence_length)) — Mask untuk menghindari pelaksanaan perhatian pada indeks fitur padding.
attention_mask (torch.Tensor dengan bentuk (batch_size, sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks token padding. Nilai mask dipilih dari [0, 1]:
- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
Apa itu attention mask?
position_ids (torch.LongTensor dengan bentuk (batch_size, sequence_length), opsional) — Indeks posisi token dari setiap urutan input dalam position embeddings. Dipilih dalam rentang [0, config.n_positions - 1].
Apa itu ID posisi?
past_key_values (~cache_utils.Cache, opsional) — Hidden-states yang sudah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri dari past_key_values yang dikembalikan oleh model pada tahap decoding sebelumnya, ketika use_cache=True atau config.use_cache=True.
Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada past_key_values yang diteruskan, DynamicCache akan diinisialisasi secara default.

Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.

Jika past_key_values digunakan, pengguna diharapkan hanya memasukkan input_ids yang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk (batch_size, unprocessed_length) alih-alih semua input_ids dengan bentuk (batch_size, sequence_length).
inputs_embeds (torch.Tensor dengan bentuk (batch_size, sequence_length, hidden_size), opsional) — Secara opsional, alih-alih meneruskan input_ids, Anda dapat memilih untuk langsung meneruskan representasi tertanam. Hal ini berguna jika Anda ingin memiliki kendali lebih atas cara mengonversi indeks input_ids menjadi vektor terkait, dibandingkan dengan matriks pencarian penanaman internal model.
use_cache (bool, opsional) — Jika diset ke True, state kunci-nilai past_key_values akan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihat past_key_values).

Mengembalikan

AudioFlamingo3ModelOutputWithPast atau tuple(torch.Tensor)

AudioFlamingo3ModelOutputWithPast atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (AudioFlamingo3Config) dan input.

Metode forward dari AudioFlamingo3Model menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

audio_hidden_states (torch.Tensor, opsional) — Hidden states audio yang diproyeksikan.

AudioFlamingo3ForConditionalGeneration

kelas transformers.AudioFlamingo3ForConditionalGeneration

< source >

( config: AudioFlamingo3Config )

Parameter

config (AudioFlamingo3Config) — Kelas konfigurasi model dengan semua parameter model. Inisialisasi dengan file konfigurasi tidak memuat bobot yang terkait dengan model, hanya konfigurasinya. Lihat metode from_pretrained() untuk memuat bobot model.

Model AudioFlamingo3 yang terdiri dari encoder Whisper yang telah dihaluskan (fine-tuned), proyektor multi-modal, dan model bahasa Qwen2.

forward

< source >

( input_ids: typing.Optional[torch.LongTensor] = Noneinput_features: typing.Optional[torch.Tensor] = Noneinput_features_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneposition_ids: typing.Optional[torch.LongTensor] = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = Nonelogits_to_keep: typing.Union[int, torch.Tensor] = 0**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → AudioFlamingo3CausalLMOutputWithPast or tuple(torch.Tensor)

Parameter

input_ids (torch.LongTensor dengan bentuk (batch_size, sequence_length), opsional) — Indeks token dari urutan input dalam kosakata. Padding akan diabaikan secara default.
Indeks dapat diperoleh menggunakan AutoTokenizer. Lihat PreTrainedTokenizer.encode() dan PreTrainedTokenizer.call() untuk detailnya.

Apa itu input ID?
input_features (torch.Tensor dengan bentuk (batch_size, sequence_length, feature_dim), opsional) — Tensor yang sesuai dengan fitur audio input. Fitur audio dapat diperoleh menggunakan WhisperFeatureExtractor. Lihat WhisperFeatureExtractor.call() untuk detailnya (AudioFlamingo3Processor menggunakan WhisperFeatureExtractor untuk memproses audio).
input_features_mask (torch.Tensor dengan bentuk (batch_size, feature_sequence_length)) — Mask untuk menghindari pelaksanaan perhatian pada indeks fitur padding.
attention_mask (torch.Tensor dengan bentuk (batch_size, sequence_length), opsional) — Mask untuk menghindari eksekusi attention pada indeks token padding. Nilai mask dipilih dari [0, 1]:
- 1 untuk token yang tidak dimasker,
- 0 untuk token yang dimasker.
Apa itu attention mask?
position_ids (torch.LongTensor dengan bentuk (batch_size, sequence_length), opsional) — Indeks posisi token dari setiap urutan input dalam position embeddings. Dipilih dalam rentang [0, config.n_positions - 1].
Apa itu ID posisi?
past_key_values (~cache_utils.Cache, opsional) — Hidden-states yang sudah dihitung sebelumnya (key dan values di blok self-attention dan di blok cross-attention) yang dapat digunakan untuk mempercepat decoding berurutan. Ini biasanya terdiri dari past_key_values yang dikembalikan oleh model pada tahap decoding sebelumnya, ketika use_cache=True atau config.use_cache=True.
Hanya instance Cache yang diizinkan sebagai input, lihat panduan kv cache kami. Jika tidak ada past_key_values yang diteruskan, DynamicCache akan diinisialisasi secara default.

Model akan menghasilkan format cache yang sama dengan yang diberikan sebagai input.

Jika past_key_values digunakan, pengguna diharapkan hanya memasukkan input_ids yang belum diproses (yang tidak memiliki state past key value yang diberikan ke model ini) dengan bentuk (batch_size, unprocessed_length) alih-alih semua input_ids dengan bentuk (batch_size, sequence_length).
inputs_embeds (torch.Tensor dengan bentuk (batch_size, sequence_length, hidden_size), opsional) — Secara opsional, alih-alih meneruskan input_ids, Anda dapat memilih untuk langsung meneruskan representasi tertanam. Hal ini berguna jika Anda ingin memiliki kendali lebih atas cara mengonversi indeks input_ids menjadi vektor terkait, dibandingkan dengan matriks pencarian penanaman internal model.
labels (torch.LongTensor dengan bentuk (batch_size, sequence_length), opsional) — Label untuk menghitung kerugian pemodelan bahasa yang disamarkan (masked language modeling loss).
use_cache (bool, opsional) — Jika diset ke True, state kunci-nilai past_key_values akan dikembalikan dan dapat digunakan untuk mempercepat decoding (lihat past_key_values).
logits_to_keep (Union[int, torch.Tensor], opsional, default 0) — Jika berupa int, hitung logits untuk logits_to_keep token terakhir. Jika 0, hitung logits untuk semua input_ids (kasus khusus). Hanya logits token terakhir yang diperlukan untuk generasi, dan menghitungnya hanya untuk token tersebut dapat menghemat memori, yang menjadi cukup signifikan untuk urutan panjang atau ukuran kosakata besar. Jika berupa torch.Tensor, harus 1D yang sesuai dengan indeks yang akan dipertahankan pada dimensi panjang urutan. Ini berguna saat menggunakan format tensor terpadu (satu dimensi untuk batch dan panjang urutan).

Mengembalikan

AudioFlamingo3CausalLMOutputWithPast atau tuple(torch.Tensor)

AudioFlamingo3CausalLMOutputWithPast atau tuple dari torch.Tensor (jika return_dict=False diteruskan atau ketika config.return_dict=False) yang terdiri dari berbagai elemen tergantung pada konfigurasi (AudioFlamingo3Config) dan input.

Metode forward dari AudioFlamingo3ForConditionalGeneration menimpa metode khusus __call__.

Meskipun resep untuk forward pass perlu didefinisikan di dalam fungsi ini, sebaiknya panggil instance Module setelahnya alih-alih fungsi ini, karena yang pertama menangani langkah-langkah pra-pemrosesan dan pasca-pemrosesan, sedangkan yang kedua mengabaikannya secara diam-diam.

loss (torch.Tensor dengan bentuk (1,), opsional, dikembalikan saat labels disediakan) — Loss pemodelan bahasa (untuk prediksi token berikutnya).
logits (torch.Tensor dengan bentuk (batch_size, sequence_length, config.vocab_size)) — Skor prediksi dari kepala pemodelan bahasa.
past_key_values (Cache, opsional, dikembalikan ketika use_cache=True dilewatkan atau ketika config.use_cache=True) — Ini adalah instance Cache.
hidden_states (tuple[torch.Tensor], opsional, dikembalikan saat output_hidden_states=True dilewatkan atau saat config.output_hidden_states=True) — Tuple dari torch.Tensor (satu untuk output dari embeddings, jika model memiliki lapisan embedding, + satu untuk output dari setiap lapisan) dengan bentuk (batch_size, sequence_length, hidden_size).

Hidden-states model pada output setiap layer ditambah output embedding awal yang opsional.
attentions (tuple[torch.Tensor], opsional, dikembalikan saat output_attentions=True dilewatkan atau saat config.output_attentions=True) — Tuple dari torch.Tensor (satu untuk setiap layer) dengan bentuk (batch_size, num_heads, sequence_length, sequence_length).

Bobot perhatian setelah softmax perhatian, digunakan untuk menghitung rata-rata berbobot di kepala perhatian diri (self-attention).
audio_hidden_states (torch.Tensor, opsional) — Hidden states dari encoder audio setelah proyeksi.

Contoh:

>>> from transformers import AudioFlamingo3ForConditionalGeneration, AutoProcessor

>>> model_id = "nvidia/audio-flamingo-3-hf"
>>> processor = AutoProcessor.from_pretrained(model_id)
>>> model = AudioFlamingo3ForConditionalGeneration.from_pretrained(model_id, device_map="auto")

get_audio_features

< source >

( input_featuresinput_features_mask**kwargs )

Update on GitHub

←Aria AyaVision→