Transformers documentation
Higgs Audio V2 Tokenizer
Este modelo fue aportado a Hugging Face Transformers el 2026-02-19.
Higgs Audio V2 Tokenizer
Resumen
- Tasa de fotogramas baja: a 25 fps, nuestro tokenizador reduce a la mitad la tasa de fotogramas de muchas líneas base, manteniendo al mismo tiempo una alta calidad de audio.
- Entrenamiento unificado a 24 kHz: Mezclamos fragmentos de voz, música y eventos sonoros en un solo modelo, capturando tanto detalles semánticos como acústicos, lo que facilita enormemente el entrenamiento de modelos de lenguaje de audio.
- Inferencia rápida: al evitar los pasos de difusión, nuestro codificador/decodificador procesa lotes rápidamente, lo que lo hace práctico para tareas en tiempo real o a gran escala.
Arquitectura del modelo:
Uso
from datasets import Audio, load_dataset
from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel
# load model and feature extractor
model_id = "eustlb/higgs-audio-v2-tokenizer"
feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
model = HiggsAudioV2TokenizerModel.from_pretrained(model_id, device_map="auto")
# load audio sample
dummy_dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
dummy_dataset = dummy_dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
audio_sample = dummy_dataset[-1]["audio"]["array"]
inputs = feature_extractor(raw_audio=audio_sample, sampling_rate=feature_extractor.sampling_rate, return_tensors="pt").to(model.device)
# encode and decode
encoder_outputs = model.encode(inputs["input_values"])
decoder_outputs = model.decode(encoder_outputs.audio_codes)
audio_values = decoder_outputs.audio_values
# or the equivalent with a forward pass
audio_values = model(inputs["input_values"]).audio_valuesHiggsAudioV2TokenizerConfig
clase transformers.HiggsAudioV2TokenizerConfig
< source >( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonetarget_bandwidths: list[int | float] | tuple[int | float, ...] = (0.5, 1, 1.5, 2, 4)sample_rate: int = 24000kernel_size: int = 3channel_ratios: list[int] | tuple[int, ...] = (1, 1)strides: list[int] | tuple[int, ...] = (1, 1)block_dilations: list[int] | tuple[int, ...] = (1, 1)unit_kernel_size: int = 3codebook_size: int = 1024codebook_dim: int = 64initializer_range: float = 0.02acoustic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_model_config: dict | transformers.configuration_utils.PreTrainedConfig | None = Nonesemantic_sample_rate: int = 16000downsample_factor: int = 320 )
Parámetros
- target_bandwidths (
List[float], opcional, por defecto[0.5, 1, 1.5, 2]) — El rango de diferentes anchos de banda (en kbps) con los que el modelo puede codificar el audio. - sample_rate (
int, opcional, valor predeterminado24000) — La tasa de muestreo a la que deben digitalizarse los archivos de audio, expresada en hercios (Hz). - kernel_size (
int, opcional, valor predeterminado 3) — Tamaño del kernel para la convolución semántica inicial. - channel_ratios (
List[float], opcional, valor predeterminado[1, 1]) — Factores de expansión para el número de canales de salida en cada bloque semántico. - strides (
List[int], opcional, valor predeterminado[1, 1]) — Pasos para cada bloque del codificador semántico. - block_dilations (
List[int], opcional, valor predeterminado[1, 1]) — Factores de dilatación para las unidades residuales en los bloques semánticos. - unit_kernel_size (
int, opcional, valor predeterminado 3) — Tamaño del kernel dentro de cada ResidualUnit en los bloques semánticos. - codebook_size (
int, opcional, valor predeterminado1024) — El número de libros de códigos paralelos utilizados por el modelo. - codebook_dim (
int, opcional, valor predeterminado64) — Dimensionalidad de cada vector de incrustación del libro de códigos. - initializer_range (
float, opcional, valor predeterminado0.02) — La desviación estándar del truncated_normal_initializer para inicializar todas las matrices de pesos. - acoustic_model_config (
Union[Dict, AutoConfig], opcional) — Una instancia de la configuración del modelo acústico (DAC). - semantic_model_config (
Union[Dict, AutoConfig], opcional) — Una instancia del objeto de configuración para el modelo semántico (HuBERT). - semantic_sample_rate (
int, opcional, valor predeterminado 16000) — La tasa de muestreo a la que el modelo semántico espera la entrada de audio, en hercios (Hz). - downsample_factor (
int, opcional, valor predeterminado 320) — Factor de reducción de muestreo para las características semánticas.
Esta es la clase de configuración para almacenar la configuración de un HiggsAudioV2TokenizerModel. Se utiliza para instanciar un modelo Higgs Audio V2 Tokenizer según los argumentos especificados, definiendo la arquitectura del modelo. Instanciar una configuración con los valores predeterminados producirá una configuración similar a la de bosonai/higgs-audio-v2-tokenizer
Los objetos de configuración heredan de PreTrainedConfig y se pueden usar para controlar las salidas del modelo. Lea la documentación de PreTrainedConfig para obtener más información.
Ejemplo:
>>> from transformers import HiggsAudioV2TokenizerModel, HiggsAudioV2TokenizerConfig
>>> # Initializing configuration
>>> configuration = HiggsAudioV2TokenizerConfig()
>>> # Initializing a model (with random weights) from the configuration
>>> model = HiggsAudioV2TokenizerModel(configuration)
>>> # Accessing the model configuration
>>> configuration = model.configHiggsAudioV2TokenizerModel
clase transformers.HiggsAudioV2TokenizerModel
< source >( config: HiggsAudioV2TokenizerConfig )
Parámetros
- config (HiggsAudioV2TokenizerConfig) — Clase de configuración del modelo con todos los parámetros del modelo. Inicializar con un archivo de configuración no carga los pesos asociados con el modelo, solo la configuración. Consulte el método from_pretrained() para cargar los pesos del modelo.
El modelo de códec de audio neuronal HiggsAudioV2Tokenizer.
Este modelo hereda de PreTrainedModel. Consulta la documentación de la clase superior para los métodos genéricos que la biblioteca implementa para todos sus modelos (como la descarga o el guardado, el redimensionamiento de las incrustaciones de entrada, la poda de cabezas, etc.).
Este modelo también es una subclase de torch.nn.Module de PyTorch. Úsalo como un módulo de PyTorch regular y consulta la documentación de PyTorch para todo lo relacionado con el uso y el comportamiento generales.
decode
< source >( audio_codes: Tensorreturn_dict: bool | None = None )
Parámetros
- audio_codes (
torch.LongTensorde forma(batch_size, num_quantizers, codes_length)) — Índices de códigos discretos calculados usandomodel.encode. - return_dict (
bool, opcional) — Si se devuelve un ModelOutput
encode
< source >( input_values: Tensorbandwidth: float | None = Nonereturn_dict: bool | None = None )
Parámetros
- input_values (
torch.Tensorde forma(batch_size, channels, num_samples)) — Valores flotantes de la forma de onda de audio de entrada. - bandwidth (
float, opcional) — El ancho de banda objetivo en (kbps) solo admite valores enconfig.target_bandwidths. Por defecto, se establece en el ancho de banda más alto disponible4.0kbps. - return_dict (
bool, opcional) — Indica si se debe devolver un ModelOutput.
forward
< source >( input_values: Tensoraudio_codes: typing.Optional[torch.Tensor] = Nonebandwidth: float | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → HiggsAudioV2TokenizerOutput or tuple (audio_codes, audio_values)
Parámetros
- input_values (
torch.Tensorde forma(batch_size, channels, num_samples)) — Los valores flotantes crudos de la forma de onda de audio de entrada. - audio_codes (
torch.LongTensorde forma(batch_size, num_quantizers, codes_length)— Índices de códigos discretos calculados usandomodel.encode. - bandwidth (
float, opcional) — Ancho de banda objetivo en kbps. Debe ser uno deconfig.target_bandwidths. El valor predeterminado es el ancho de banda disponible más alto. - bandwidth (
float, opcional) — Ancho de banda objetivo en kbps. Debe ser uno deconfig.target_bandwidths. El valor predeterminado es el ancho de banda disponible más alto.
Devuelve
HiggsAudioV2TokenizerOutput o tupla (audio_codes, audio_values)
audio_codesde forma(batch_size, num_quantizers, codes_length): los códigos discretos cuantizados.audio_valuesde forma(batch_size, channels, num_samples): la forma de onda de audio reconstruida a partir de los códigos.
El método forward de HiggsAudioV2TokenizerModel reemplaza el método especial __call__.
Aunque la receta para la pasada hacia adelante debe definirse dentro de esta función, se debe llamar a la instancia de
Moduledespués en lugar de a esta, ya que la primera se encarga de ejecutar los pasos de pre y postprocesamiento, mientras que la segunda los ignora silenciosamente.
Ejemplo:
>>> from datasets import load_dataset
>>> from transformers import AutoFeatureExtractor, HiggsAudioV2TokenizerModel
>>> model_id = "hf-audio/higgs_audio_v2_tokenizer-hubert-librispeech"
>>> model = HiggsAudioV2TokenizerModel.from_pretrained(model_id)
>>> feature_extractor = AutoFeatureExtractor.from_pretrained(model_id)
>>> dataset = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> dataset = dataset.cast_column("audio", Audio(sampling_rate=feature_extractor.sampling_rate))
>>> audio_sample = dataset[0]['audio']['array']
>>> inputs = feature_extractor(raw_audio=audio_sample, return_tensors="pt")
>>> outputs = model(**inputs)
>>> audio_codes = outputs.audio_codes
>>> audio_values = outputs.audio_values