Hugging Face's logo

Transformers documentation

PE Ses

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Bu model 2025-04-17 tarihinde HF papers'ta yayımlandı ve 2025-12-16 tarihinde Hugging Face Transformers'a katkıda bulunuldu. Bu model 2025-04-17 tarihinde yayınlandı ve 2025-12-16 tarihinde Hugging Face Transformers'a eklendi.

PE Ses

PE Audio, Meta'nın Perception Encoder ailesinin ses dalıdır. Ham dalga formlarını metinle karşıtlık yoluyla ortak bir gömme uzayına hizalar ve çapraz modallı arama ile sıfır atışlı ses sınıflandırması için eşlenmiş ses–başlık verileri üzerinde eğitilir.

Aynı encoder üzerinde iki head açığa çıkarılır. PeAudioModel, klip düzeyinde geri getirme için her klip başına bir havuzlanmış gömüm döndürürken, PeAudioFrameLevelModel, olay konumlandırma ve ince taneli zaman analizi için her 40 ms'de bir gömüm döndürür.

Tüm resmi PE Audio kontrol noktalarını perception-encoder-audio-visual koleksiyonu altında bulabilirsiniz.

Hızlı Başlangıç

import torch
from datasets import load_dataset
from transformers import AutoProcessor, PeAudioModel

processor = AutoProcessor.from_pretrained("facebook/pe-av-large")
model = PeAudioModel.from_pretrained(
    "facebook/pe-av-large",
    device_map="auto",
)

ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
audio = ds[0]["audio"]["array"]
labels = ["a dog barking", "a person speaking", "music playing"]

audio_inputs = processor.feature_extractor(audio, sampling_rate=48_000, return_tensors="pt").to(model.device)
text_inputs = processor.tokenizer(labels, padding=True, return_tensors="pt").to(model.device)
inputs = {**audio_inputs, **text_inputs}

with torch.no_grad():
    outputs = model(**inputs)

probs = outputs.logits_audio_text.sigmoid()
print({label: p.item() for label, p in zip(labels, probs[0])})

Kullanım ipuçları ve notlar

  • Ses tek kanallı (feature_size=1) olmalı ve 48 kHz'e yeniden örneklenmelidir — özellik çıkarıcı uyarı verir ancak sizin için yeniden örneklemeyi yapmaz. Stereo giriş desteklenmez.
  • Değişken uzunluklu ses, padding_mask ile (genellikle kullanılan attention_mask ile değil) işlenir. Maske, kodlayıcıya ulaşmadan önce dac_config.hop_length ile içsel olarak indirgenir; bu nedenle, özellik çıkarıcının döndürdüğü ham dalga formu çözünürlüğündeki maskeyi iletin.
  • PeAudioModel, (n_audio, n_text) biçiminde logits döndürür. PeAudioFrameLevelModel, her 40 ms'de bir çerçeve olacak şekilde (n_audio, n_text, n_frames) biçiminde değer döndürür. Göreve uygun sınıfı seçin — ağırlıkları paylaştıkları için sınıf değiştirmek maliyetsizdir.
  • Metin kulesu, config.text_config üzerinden AutoModel ile yüklenen paylaşımlı bir kodlayıcıdır. Tokenizer, özel bir sınıf değil, AutoTokenizer aracılığıyla işlemciye (processor) bağlanır.

PeAudioConfig

sınıf transformers.PeAudioConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetext_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Noneaudio_config: dict | transformers.configuration_utils.PreTrainedConfig | None = None )

Parametreler

  • text_config (Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Metin omurgasının yapılandırma nesnesi veya sözlüğü.
  • audio_config (Union[dict, ~configuration_utils.PreTrainedConfig], isteğe bağlı) — Ses omurgasının yapılandırma nesnesi veya sözlüğü.

Bu, bir PeAudioModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pe Audio modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/pe-av-large ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

Örnek:

>>> from transformers import PeAudioModel, PeAudioConfig

>>> # Initializing a PeAudioModel style configuration
>>> configuration = PeAudioConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PeAudioEncoderConfig

sınıf transformers.PeAudioEncoderConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonedac_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonehidden_size: int = 1792intermediate_size: int = 4800num_hidden_layers: int = 6num_attention_heads: int = 14num_key_value_heads: int | None = Nonehead_dim: int = 128hidden_act: str = 'silu'max_position_embeddings: int = 10000initializer_range: float = 0.02rms_norm_eps: float = 1e-05rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = Noneattention_bias: bool = Falseattention_dropout: float | int = 0.0 )

Parametreler

  • dac_config (Union[PreTrainedConfig, dict], isteğe bağlı) — Ham ses girdilerini tokenleştirmek için kullanılan DAC ses kodlayıcısının yapılandırması. Bir sözlük geçirilirse, varsayılan DAC hiperparametreleriyle bir DacConfig örneği oluşturmak için kullanılır.
  • hidden_size (int, isteğe bağlı, varsayılan 1792) — Gizli temsillerin boyutu.
  • intermediate_size (int, isteğe bağlı, varsayılan 4800) — MLP temsillerinin boyutu.
  • num_hidden_layers (int, isteğe bağlı, varsayılan 6) — Transformer çözücüdeki gizli katman sayısı.
  • num_attention_heads (int, isteğe bağlı, varsayılan 14) — Transformer decoder'ındaki her dikkat katmanı için dikkat başlığı sayısı.
  • num_key_value_heads (int, isteğe bağlı) — Bu, Grouped Query Attention uygulamasında kullanılacak key_value başlarının sayısıdır. num_key_value_heads=num_attention_heads ise model Multi Head Attention (MHA) kullanır, num_key_value_heads=1 ise model Multi Query Attention (MQA) kullanır, aksi halde GQA kullanılır. Çok başlı bir checkpoint'i GQA checkpoint'ine dönüştürürken, her grup key ve value başı, o gruptaki tüm orijinal başların ortalama havuzlanması (meanpooling) ile oluşturulmalıdır. Daha fazla ayrıntı için bu makaleye göz atın. Belirtilmezse, varsayılan olarak num_attention_heads kullanılır.
  • head_dim (int, isteğe bağlı, varsayılan 128) — Dikkat başlığı boyutu. None ise, varsayılan olarak hidden_size // num_attention_heads değerini alır.
  • hidden_act (str, isteğe bağlı, varsayılan silu) — Çözücüdeki doğrusal olmayan aktivasyon fonksiyonu (fonksiyon veya dize). Örneğin, "gelu", "relu", "silu" vb.
  • max_position_embeddings (int, isteğe bağlı, varsayılan 10000) — Bu modelin kullanılabileceği maksimum dizi uzunluğu.
  • initializer_range (float, isteğe bağlı, varsayılan 0.02) — Tüm ağırlık matrislerini başlatmak için kullanılan truncated_normal_initializer'ın standart sapması.
  • rms_norm_eps (float, isteğe bağlı, varsayılan 1e-05) — rms normalizasyon katmanları tarafından kullanılan epsilon.
  • rope_parameters (Union[~modeling_rope_utils.RopeParameters, dict], isteğe bağlı) — RoPE gömme yapılandırma parametrelerini içeren sözlük. Sözlük, rope_theta için bir değer ve daha uzun max_position_embeddings ile RoPE kullanmak istiyorsanız ölçekleme için kullanılan isteğe bağlı parametreleri içermelidir.
  • attention_bias (bool, isteğe bağlı, varsayılan False) — Öz-dikkat sırasında sorgu, anahtar, değer ve çıktı projeksiyon katmanlarında önyargı (bias) kullanılıp kullanılmayacağı.
  • attention_dropout (Union[float, int], isteğe bağlı, varsayılan 0.0) — Dikkat olasılıkları için dropout oranı.

Bu, bir PeAudioModel yapılandırmasını depolamak için kullanılan yapılandırma sınıfıdır. Belirtilen argümanlara göre bir Pe Audio modelinin örneklenmesi ve model mimarisinin tanımlanması için kullanılır. Varsayılan değerlerle bir yapılandırma örneklendiğinde, facebook/pe-av-large ile benzer bir yapılandırma elde edilir.

Yapılandırma nesneleri PreTrainedConfig sınıfından devralır ve model çıktılarını kontrol etmek için kullanılabilir. Daha fazla bilgi için PreTrainedConfig belgesini okuyun.

>>> from transformers import PeAudioEncoder, PeAudioEncoderConfig

>>> # Initializing a PeAudioEncoder style configuration
>>> configuration = PeAudioEncoderConfig()

>>> # Initializing a model from the pe-av-large style configuration
>>> model = PeAudioEncoder(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

PeAudioFeatureExtractor

sınıf transformers.PeAudioFeatureExtractor

< >

( feature_size: int = 1sampling_rate: int = 48000padding_value: float = 0.0hop_length: int = 1920**kwargs )

Parametreler

  • feature_size (int, isteğe bağlı, varsayılan 1) — Çıkarılan özelliklerin boyutu. Mono için 1, stereo için 2 kullanın.
  • sampling_rate (int, isteğe bağlı, varsayılan 48000) — Ses dalgasının dijitalleştirilmesi gereken örnekleme hızı, hertz (Hz) cinsinden ifade edilir.
  • padding_value (float, isteğe bağlı, varsayılan 0.0) — Doldurma için kullanılan değer.
  • hop_length (int, isteğe bağlı, varsayılan 1920) — Ardışık pencereler arasındaki örtüşme uzunluğu.

PeAudioFeatureExtractor özellik çıkarıcısı oluşturur.

Bu özellik çıkarıcı, ana yöntemlerin çoğunu içeren SequenceFeatureExtractor sınıfından devralır. Kullanıcıların bu yöntemler hakkında daha fazla bilgi için bu üst sınıfa başvurması gerekir.

__call__

< >

( raw_audio: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]] | str | list[str]padding: bool | str | transformers.utils.generic.PaddingStrategy | None = Nonetruncation: bool | None = Falsemax_length: int | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonesampling_rate: int | None = None )

PeAudioProcessor

sınıf transformers.PeAudioProcessor

< >

( *args**kwargs )

PeAudioEncoder

sınıf transformers.PeAudioEncoder

< >

( config: PeAudioEncoderConfig )

Parametreler

  • config (PeAudioEncoderConfig) — Modelin tüm parametrelerini içeren model yapılandırma sınıfı. Bir yapılandırma dosyasıyla başlatmak, modelle ilişkili ağırlıkları yüklemez, yalnızca yapılandırmayı yükler. Model ağırlıklarını yüklemek için from_pretrained() yöntemine bakın.

PeAudio Encoder modeli.

Bu model PreTrainedModel sınıfından devralır. Kütüphanenin tüm modelleri için uyguladığı genel yöntemler (indirme veya kaydetme, giriş gömme boyutlarını yeniden boyutlandırma, başları budama vb.) için üst sınıf belgelendirmesine bakın.

Bu model aynı zamanda bir PyTorch torch.nn.Module alt sınıfıdır. Bunu standart bir PyTorch Module olarak kullanın ve genel kullanım ve davranışla ilgili tüm konular için PyTorch dokümantasyonuna başvurun.

forward

< >

( input_values: Tensorpadding_mask: typing.Optional[torch.Tensor] = None**kwargs ) → BaseModelOutputWithPooling or tuple(torch.Tensor)

Parametreler

  • input_values (torch.Tensor, şekli (batch_size, sequence_length)) — Giriş ham ses dalgasının ondalık sayı değerleri. Değerler, bir .flac veya .wav ses dosyasını list[float] türünde bir diziye, numpy.ndarray veya torch.Tensor içine yükleyerek elde edilebilir, örneğin torchcodec kütüphanesi (pip install torchcodec) veya soundfile kütüphanesi (pip install soundfile) aracılığıyla. Diziyi input_values için hazırlamak için, AutoProcessor dolguyu (padding) ve torch.Tensor türünde bir tensöre dönüştürmeyi uygulamak üzere kullanılmalıdır. Ayrıntılar için PeAudioProcessor.call() bölümüne bakın.
  • padding_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — input_values içindeki dolgu örneklerinde dikkat işleminin uygulanmaması için maske input_values. değerleri [0, 1] aralığından seçilir: maskelenmemiş örnekler için 1, maskelenmiş örnekler için 0. [0, 1]:
    • 1 maskelenmemiş örnekler için,
    • maskelenmiş örnekler için 0.

Dönüş değeri

BaseModelOutputWithPooling veya tuple(torch.Tensor)

A BaseModelOutputWithPooling veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (PeAudioConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

PeAudioEncoder forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • last_hidden_state (torch.Tensor, şekli (batch_size, sequence_length, hidden_size)) — Modelin son katmanının çıktısındaki gizli durumlar dizisi.

  • pooler_output (torch.Tensor, şekli (batch_size, hidden_size)) — Sıranın ilk token'ının (sınıflandırma token'ı) son katman gizli durumu, yardımcı ön eğitim görevi için kullanılan katmanlar üzerinden ek işlemden geçirildikten sonraki hali. Örneğin BERT ailesi modelleri için, bu, sınıflandırma token'ının doğrusal bir katman ve tanh aktivasyon fonksiyonu üzerinden işlenmesinden sonra döndürülen değerdir. Doğrusal katman ağırlıkları, ön eğitim sırasında bir sonraki cümle tahmini (sınıflandırma) hedefinden eğitilir.

  • hidden_states (tuple(torch.Tensor), isteğe bağlı, output_hidden_states=True geçirildiğinde veya config.output_hidden_states=True olduğunda döndürülür) — torch.Tensor (modelin bir gömme katmanı varsa gömme katmanının çıktısı için bir tane + her katmanın çıktısı için birer tane) içeren, (batch_size, sequence_length, hidden_size) biçiminde bir demet.

    Her katmanın çıktısında modelin gizli durumları ve isteğe bağlı başlangıç gömme çıktıları.

  • attentions (tuple(torch.Tensor), isteğe bağlı, output_attentions=True geçirildiğinde veya config.output_attentions=True olduğunda döndürülür) — torch.Tensor (katman başına bir tane) içeren bir tuple, şekli (batch_size, num_heads, sequence_length, sequence_length).

    Dikkat softmax'ı sonrası dikkat ağırlıkları, öz-dikkat başlıklarında ağırlıklı ortalamanın hesaplanmasında kullanılır.

PeAudioModel

sınıf transformers.PeAudioModel

< >

( config: PeAudioConfig )

forward

< >

( input_ids: Tensorinput_values: Tensorattention_mask: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Nonereturn_loss: bool | None = None**kwargs ) → PeAudioOutput or tuple(torch.Tensor)

Parametreler

  • input_ids (torch.Tensor şeklinde (batch_size, sequence_length)) — Girdi dizisi belirteçlerinin sözlükteki indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.

    Girdi kimlikleri nelerdir?

  • input_values (torch.Tensor, şekli (batch_size, sequence_length)) — Giriş ham ses dalgasının ondalık sayı değerleri. Değerler, bir .flac veya .wav ses dosyasını list[float] türünde bir diziye, numpy.ndarray veya torch.Tensor içine yükleyerek elde edilebilir, örneğin torchcodec kütüphanesi (pip install torchcodec) veya soundfile kütüphanesi (pip install soundfile) aracılığıyla. Diziyi input_values için hazırlamak için, AutoProcessor dolguyu (padding) ve torch.Tensor türünde bir tensöre dönüştürmeyi uygulamak üzere kullanılmalıdır. Ayrıntılar için PeAudioProcessor.call() bölümüne bakın.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • padding_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — input_values içindeki dolgu örneklerinde dikkat işleminin uygulanmaması için maske input_values. değerleri [0, 1] aralığından seçilir: maskelenmemiş örnekler için 1, maskelenmiş örnekler için 0. [0, 1]:
    • 1 maskelenmemiş örnekler için,
    • maskelenmiş örnekler için 0.
  • return_loss (bool, isteğe bağlı) — Kaybın (loss) döndürülüp döndürülmeyeceği.

Dönüş değeri

PeAudioOutput veya tuple(torch.Tensor)

PeAudioOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (PeAudioConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

PeAudioModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • loss (torch.Tensor, şekli (1,), isteğe bağlı) — Ses ve metin temsilleri arasında hesaplanan kontrastif kayıp.
  • logits_audio_text (torch.Tensor, şekli (batch_size, batch_size), isteğe bağlı) — Ses ve metin gömme vektörleri arasındaki benzerlik logitleri. PeAudioFrameLevelModel bunun yerine (batch_size, batch_size, sequence_length) şeklinde kare başına logitler döndürür.
  • text_audio_embeds (torch.Tensor, şekli (batch_size, hidden_size), isteğe bağlı) — Ses-metin uzayına yansıtılmış metin gömlemeleri.
  • audio_embeds (torch.Tensor, şekli (batch_size, hidden_size), isteğe bağlı) — Ses-metin uzayına yansıtılmış ses gömme değerleri. PeAudioFrameLevelModel bunun yerine (batch_size, sequence_length, hidden_size) şeklindeki çerçeve başına gömme değerlerini döndürür.
  • text_outputs (BaseModelOutputWithPooling, isteğe bağlı) — Metin kodlayıcısının model çıktıları; son gizli durumu ve havuzlanmış çıktıyı içerir.
  • audio_outputs (BaseModelOutputWithPooling, isteğe bağlı) — Ses kodlayıcısının model çıktıları; son gizli durumu ve havuzlanmış çıktıyı içerir.

PeAudioFrameLevelModel

sınıf transformers.PeAudioFrameLevelModel

< >

( config: PeAudioConfig )

forward

< >

( input_ids: Tensorinput_values: Tensorattention_mask: typing.Optional[torch.Tensor] = Nonepadding_mask: typing.Optional[torch.Tensor] = Nonereturn_loss: bool | None = None**kwargs ) → PeAudioOutput or tuple(torch.Tensor)

Parametreler

  • input_ids (torch.Tensor şeklinde (batch_size, sequence_length)) — Girdi dizisi belirteçlerinin sözlükteki indeksleri. Varsayılan olarak dolgu (padding) yok sayılır.

    Dizinler AutoTokenizer kullanılarak elde edilebilir. Ayrıntılar için PreTrainedTokenizer.encode() ve PreTrainedTokenizer.call() konularına bakın.

    Girdi kimlikleri nelerdir?

  • input_values (torch.Tensor, şekli (batch_size, sequence_length)) — Giriş ham ses dalgasının ondalık sayı değerleri. Değerler, bir .flac veya .wav ses dosyasını list[float] türünde bir diziye, numpy.ndarray veya torch.Tensor içine yükleyerek elde edilebilir, örneğin torchcodec kütüphanesi (pip install torchcodec) veya soundfile kütüphanesi (pip install soundfile) aracılığıyla. Diziyi input_values için hazırlamak için, AutoProcessor dolguyu (padding) ve torch.Tensor türünde bir tensöre dönüştürmeyi uygulamak üzere kullanılmalıdır. Ayrıntılar için PeAudioProcessor.call() bölümüne bakın.
  • attention_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — Doldurma (padding) token indekslerinde dikkat (attention) işlemi yapmaktan kaçınmak için kullanılan maske. Seçilen maske değerleri [0, 1]:
    • 1, maskelenmemiş jetonlar için,
    • maskelenmiş jetonlar için 0.

    Dikkat maskeleri nedir?

  • padding_mask (torch.Tensor şeklinde (batch_size, sequence_length), isteğe bağlı) — input_values içindeki dolgu örneklerinde dikkat işleminin uygulanmaması için maske input_values. değerleri [0, 1] aralığından seçilir: maskelenmemiş örnekler için 1, maskelenmiş örnekler için 0. [0, 1]:
    • 1 maskelenmemiş örnekler için,
    • maskelenmiş örnekler için 0.
  • return_loss (bool, isteğe bağlı) — Kaybın (loss) döndürülüp döndürülmeyeceği.

Dönüş değeri

PeAudioOutput veya tuple(torch.Tensor)

PeAudioOutput veya bir torch.Tensor demeti (eğer return_dict=False geçirildiyse veya config.return_dict=False ise), yapılandırmaya (PeAudioConfig) ve girdilere bağlı olarak çeşitli öğelerden oluşur.

PeAudioFrameLevelModel forward metodu, __call__ özel metodunu geçersiz kılar.

İleri geçiş tarifi bu fonksiyon içinde tanımlanmalı olsa da, sonrasında bunun yerine Module örneğini çağırmak gerekir; çünkü önceki, ön ve son işleme adımlarını çalıştırmaktan sorumluyken ikincisi bunları sessizce yok sayar.

  • loss (torch.Tensor, şekli (1,), isteğe bağlı) — Ses ve metin temsilleri arasında hesaplanan kontrastif kayıp.
  • logits_audio_text (torch.Tensor, şekli (batch_size, batch_size), isteğe bağlı) — Ses ve metin gömme vektörleri arasındaki benzerlik logitleri. PeAudioFrameLevelModel bunun yerine (batch_size, batch_size, sequence_length) şeklinde kare başına logitler döndürür.
  • text_audio_embeds (torch.Tensor, şekli (batch_size, hidden_size), isteğe bağlı) — Ses-metin uzayına yansıtılmış metin gömlemeleri.
  • audio_embeds (torch.Tensor, şekli (batch_size, hidden_size), isteğe bağlı) — Ses-metin uzayına yansıtılmış ses gömme değerleri. PeAudioFrameLevelModel bunun yerine (batch_size, sequence_length, hidden_size) şeklindeki çerçeve başına gömme değerlerini döndürür.
  • text_outputs (BaseModelOutputWithPooling, isteğe bağlı) — Metin kodlayıcısının model çıktıları; son gizli durumu ve havuzlanmış çıktıyı içerir.
  • audio_outputs (BaseModelOutputWithPooling, isteğe bağlı) — Ses kodlayıcısının model çıktıları; son gizli durumu ve havuzlanmış çıktıyı içerir.
Update on GitHub

←Parakeet Pocket TTS→