Hugging Face's logo

Transformers documentation

Whisper

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Mô hình này được công bố trên HF papers vào ngày 2022-12-06 và được đóng góp cho Hugging Face Transformers vào ngày 2022-10-05.

FlashAttention SDPA

Whisper

Whisper là một transformer encoder-decoder (sequence-to-sequence) được huấn luyện trước trên 680.000 giờ dữ liệu âm thanh có nhãn. Khối lượng dữ liệu huấn luyện trước này cho phép hiệu suất zero-shot trên các tác vụ âm thanh bằng tiếng Anh và nhiều ngôn ngữ khác. Bộ decoder cho phép Whisper ánh xạ các biểu diễn giọng nói đã học của encoder sang các đầu ra hữu ích, chẳng hạn như văn bản, mà không cần tinh chỉnh thêm. Whisper hoạt động ngay lập tức khi cài đặt.

Bạn có thể tìm thấy tất cả các checkpoint Whisper gốc trong bộ sưu tập Whisper.

Nhấp vào các mô hình Whisper ở thanh bên phải để xem thêm các ví dụ về cách áp dụng Whisper cho các tác vụ âm thanh khác nhau.

Đặt use_kernels=True trong from_pretrained() để thay thế các lớp được hỗ trợ bằng các kernel tối ưu từ Hub. Xem Tải kernel để biết thêm.

Ví dụ dưới đây minh họa cách tự động chuyển giọng nói thành văn bản bằng Pipeline hoặc lớp AutoModel.

Pipeline
AutoModel
from transformers import pipeline


pipeline = pipeline(
    task="automatic-speech-recognition",
    model="openai/whisper-large-v3-turbo",
    device=0
)
pipeline("https://huggingface.co/datasets/Narsil/asr_dummy/resolve/main/mlk.flac")

Ghi chú

  • Whisper dựa vào generate tùy chỉnh để suy luận, hãy chắc chắn kiểm tra tài liệu bên dưới.
  • WhisperProcessor có thể được sử dụng để chuẩn bị âm thanh và giải mã các id dự đoán thành văn bản.

WhisperConfig

lớp transformers.WhisperConfig

< >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0id2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Noneis_encoder_decoder: bool = Truevocab_size: int = 51865num_mel_bins: int = 80encoder_layers: int = 4encoder_attention_heads: int = 6decoder_layers: int = 4decoder_attention_heads: int = 6decoder_ffn_dim: int = 1536encoder_ffn_dim: int = 1536encoder_layerdrop: float | int = 0.0decoder_layerdrop: float | int = 0.0decoder_start_token_id: int = 50257use_cache: bool = Trueactivation_function: str = 'gelu'd_model: int = 384dropout: float | int = 0.0attention_dropout: float | int = 0.0activation_dropout: float | int = 0.0init_std: float = 0.02scale_embedding: bool = Falsemax_source_positions: int = 1500max_target_positions: int = 448pad_token_id: int | None = 50256bos_token_id: int | None = 50256eos_token_id: int | list[int] | None = 50256suppress_tokens: list | None = Nonebegin_suppress_tokens: list[int] | tuple[int, ...] | None = (220, 50256)use_weighted_layer_sum: bool = Falseclassifier_proj_size: int = 256apply_spec_augment: bool = Falsemask_time_prob: float | int = 0.05mask_time_length: int = 10mask_time_min_masks: int = 2mask_feature_prob: float | int = 0.0mask_feature_length: int = 10mask_feature_min_masks: int = 0median_filter_width: int = 7tie_word_embeddings: bool = True )

Tham số

  • is_encoder_decoder (bool, tùy chọn, mặc định là True) — Xác định xem mô hình có được sử dụng như một encoder/decoder hay không.
  • vocab_size (int, tuỳ chọn, mặc định là 51865) — Kích thước từ vựng của mô hình. Xác định số lượng token khác nhau có thể được biểu diễn bởi input_ids.
  • num_mel_bins (int, tùy chọn, mặc định là 80) — Số lượng đặc trưng mel được sử dụng cho mỗi khung đầu vào. Cần khớp với giá trị được dùng trong lớp AutoFeatureExtractor.
  • encoder_layers (int, tùy chọn, mặc định là 4) — Số lượng lớp ẩn trong bộ mã hóa Transformer. Nếu không được đặt, giá trị này sẽ giống với num_layers.
  • encoder_attention_heads (int, tùy chọn, mặc định là 6) — Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ mã hóa Transformer.
  • decoder_layers (int, tùy chọn, mặc định là 4) — Số lượng lớp ẩn trong bộ giải mã Transformer. Nếu không được đặt, giá trị này sẽ giống với num_layers.
  • decoder_attention_heads (int, tùy chọn, mặc định là 6) — Số lượng đầu chú ý cho mỗi lớp chú ý trong bộ giải mã Transformer.
  • decoder_ffn_dim (int, tùy chọn, mặc định là 1536) — Kích thước của lớp “trung gian” (thường được gọi là feed-forward) trong decoder.
  • encoder_ffn_dim (int, tùy chọn, mặc định là 1536) — Kích thước của lớp “trung gian” (thường được gọi là feed-forward) trong encoder.
  • encoder_layerdrop (Union[float, int], tùy chọn, mặc định là 0.0) — Xác suất LayerDrop cho bộ mã hóa. Xem [bài báo LayerDrop](xem https://huggingface.co/papers/1909.11556) để biết thêm chi tiết.
  • decoder_layerdrop (Union[float, int], tùy chọn, mặc định là 0.0) — Xác suất LayerDrop cho bộ giải mã. Xem [bài báo LayerDrop](xem https://huggingface.co/papers/1909.11556) để biết thêm chi tiết.
  • decoder_start_token_id (int, tùy chọn, mặc định là 50257) — Nếu một mô hình encoder-decoder bắt đầu giải mã bằng một token khác với bos, đây là id của token đó.
  • use_cache (bool, tùy chọn, mặc định là True) — Xác định xem mô hình có nên trả về các chú ý key/values cuối cùng hay không (không được sử dụng bởi tất cả các mô hình). Chỉ liên quan nếu config.is_decoder=True hoặc khi mô hình là mô hình sinh chỉ có decoder.
  • activation_function (str, tùy chọn, mặc định là gelu) — Hàm kích hoạt phi tuyến (hàm hoặc chuỗi) trong bộ giải mã. Ví dụ, "gelu", "relu", "silu", v.v.
  • d_model (int, tùy chọn, mặc định là 384) — Kích thước của các lớp encoder và lớp pooler.
  • dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ cho tất cả các lớp dropout.
  • attention_dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các xác suất chú ý.
  • activation_dropout (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ dropout cho các kích hoạt bên trong lớp liên kết đầy đủ.
  • init_std (float, tùy chọn, mặc định là 0.02) — Độ lệch chuẩn của truncated_normal_initializer để khởi tạo tất cả các ma trận trọng số.
  • scale_embedding (bool, tùy chọn, mặc định là False) — Có nên chia embedding cho sqrt(d_model) để chuẩn hóa hay không.
  • max_source_positions (int, tùy chọn, mặc định là 1500) — Chiều dài tối đa của chuỗi các đặc trưng log-mel filter-bank mà mô hình này có thể được sử dụng.
  • max_target_positions (int, tùy chọn, mặc định là 448) — Chiều dài tối đa của chuỗi mà mô hình này có thể được sử dụng. Thông thường, hãy đặt giá trị này ở mức lớn để phòng ngừa (ví dụ: 512 hoặc 1024 hoặc 2048).
  • pad_token_id (int, tùy chọn, mặc định là 50256) — Token id được sử dụng để đệm (padding) trong từ vựng.
  • bos_token_id (int, tùy chọn, mặc định là 50256) — Token id được sử dụng cho beginning-of-stream trong bảng từ vựng.
  • eos_token_id (Union[int, list[int]], tùy chọn, mặc định là 50256) — Token id được sử dụng cho end-of-stream trong bảng từ vựng.
  • suppress_tokens (list[int], tùy chọn) — Một danh sách chứa các token không phải giọng nói sẽ được sử dụng bởi logit processor trong hàm generate. NON_SPEECH_TOKENS và NON_SPEECH_TOKENS_MULTI lần lượt tương ứng với mô hình english-only và mô hình multilingual.
  • begin_suppress_tokens (list[int], tùy chọn, mặc định là [220,50256]) — Một danh sách chứa các token sẽ bị bỏ qua ở đầu quá trình lấy mẫu. Được khởi tạo là token cho " " (blank_token_id) và eos_token_id
  • use_weighted_layer_sum (bool, tùy chọn, mặc định là False) — Có sử dụng trung bình có trọng số của đầu ra các lớp với trọng số được học hay không. Chỉ liên quan khi sử dụng một instance của WhisperForAudioClassification.
  • classifier_proj_size (int, tùy chọn, mặc định là 256) — Kích thước chiều của phép chiếu trước khi lấy trung bình token (mean-pooling) cho phân loại. Chỉ liên quan khi sử dụng một instance của WhisperForAudioClassification.
  • apply_spec_augment (bool, tùy chọn, mặc định là False) — Có áp dụng tăng cường dữ liệu SpecAugment cho đầu ra của bộ mã hóa đặc trưng hay không. Để tham khảo, xem SpecAugment: A Simple Data Augmentation Method for Automatic Speech Recognition.
  • mask_time_prob (float, tùy chọn, mặc định là 0.05) — Tỷ lệ phần trăm (từ 0 đến 1) của tất cả các vector đặc trưng dọc theo trục thời gian sẽ bị che. Quy trình che tạo ra mask_time_prob*len(time_axis)/mask_time_length các mặt nạ độc lập trên trục. Nếu suy luận từ xác suất của mỗi vector đặc trưng được chọn làm điểm bắt đầu của khoảng vector cần che, mask_time_prob nên là prob_vector_start*mask_time_length. Lưu ý rằng sự chồng lấn có thể làm giảm tỷ lệ phần trăm thực tế của các vector bị che. Điều này chỉ liên quan nếu apply_spec_augment == True.
  • mask_time_length (int, tùy chọn, mặc định là 10) — Chiều dài của khoảng vector dọc theo trục thời gian.
  • mask_time_min_masks (int, tùy chọn, mặc định là 2), — Số lượng tối thiểu các mask có độ dài mask_feature_length được tạo dọc theo trục thời gian, cho mỗi bước thời gian, bất kể mask_feature_prob. Chỉ có liên quan nếu ”mask_time_prob*len(time_axis)/mask_time_length < mask_time_min_masks”
  • mask_feature_prob (float, tùy chọn, mặc định là 0.0) — Tỷ lệ phần trăm (từ 0 đến 1) của tất cả các vector đặc trưng dọc theo trục đặc trưng sẽ bị che. Quy trình che tạo ra mask_feature_prob*len(feature_axis)/mask_time_length các mặt nạ độc lập trên trục. Nếu suy luận từ xác suất của mỗi vector đặc trưng được chọn làm điểm bắt đầu của khoảng vector sẽ bị che, mask_feature_prob nên là prob_vector_start*mask_feature_length. Lưu ý rằng sự chồng lấn có thể làm giảm tỷ lệ phần trăm thực tế của các vector bị che. Điều này chỉ liên quan nếu apply_spec_augment is True.
  • mask_feature_prob (Union[float, int], tùy chọn, mặc định là 0.0) — Tỷ lệ phần trăm (từ 0 đến 1) của tất cả các vector đặc trưng dọc theo trục đặc trưng sẽ bị che. Quy trình che tạo ra mask_feature_prob*len(feature_axis)/mask_time_length các mặt nạ độc lập trên trục. Nếu suy luận từ xác suất của mỗi vector đặc trưng được chọn làm điểm bắt đầu của khoảng vector sẽ bị che, mask_feature_prob nên là prob_vector_start*mask_feature_length. Lưu ý rằng sự chồng lấn có thể làm giảm tỷ lệ phần trăm thực tế của các vector bị che. Điều này chỉ liên quan nếu apply_spec_augment là True.
  • mask_feature_length (int, tùy chọn, mặc định là 10) — Chiều dài của khoảng vector dọc theo trục đặc trưng.
  • mask_feature_min_masks (int, tùy chọn, mặc định là 0) — Số lượng tối thiểu các mặt nạ có độ dài mask_feature_length được tạo ra dọc theo trục đặc trưng, ở mỗi bước thời gian, bất kể giá trị của mask_feature_prob. Chỉ có ý nghĩa nếu mask_feature_prob*len(feature_axis)/mask_feature_length < mask_feature_min_masks.
  • median_filter_width (int, tuỳ chọn, mặc định là 7) — Chiều rộng của bộ lọc trung vị được sử dụng để làm mượt đầu ra của cross-attention khi tính toán mốc thời gian của token. Phải là một số lẻ.
  • tie_word_embeddings (bool, tùy chọn, mặc định là True) — Có nên gắn kết các trọng số nhúng theo ánh xạ tied_weights_keys của mô hình hay không.

Đây là lớp cấu hình để lưu trữ cấu hình của một WhisperModel. Nó được sử dụng để khởi tạo một mô hình Whisper theo các đối số được chỉ định, xác định kiến trúc của mô hình. Khởi tạo một cấu hình với các giá trị mặc định sẽ tạo ra một cấu hình tương tự như cấu hình của openai/whisper-tiny

Các đối tượng cấu hình kế thừa từ PreTrainedConfig và có thể được sử dụng để kiểm soát đầu ra của mô hình. Đọc tài liệu từ PreTrainedConfig để biết thêm thông tin.

Ví dụ:

>>> from transformers import WhisperConfig, WhisperModel

>>> # Initializing a Whisper tiny style configuration
>>> configuration = WhisperConfig()

>>> # Initializing a model (with random weights) from the tiny style configuration
>>> model = WhisperModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config

WhisperTokenizer

lớp transformers.WhisperTokenizer

< >

( vocab: str | dict[str, int] | None = Nonemerges = Nonenormalizer_file = Noneunk_token = '<|endoftext|>'bos_token = '<|endoftext|>'eos_token = '<|endoftext|>'add_prefix_space = Falselanguage = Nonetask = Nonepredict_timestamps = False**kwargs )

Tham số

  • vocab_file (str, tùy chọn) — Đường dẫn đến tệp từ vựng.
  • merges_file (str, tùy chọn) — Đường dẫn đến tệp merges.
  • normalizer_file (str, tùy chọn) — Đường dẫn đến tệp normalizer_file.
  • tokenizer_file (str, tùy chọn) — Đường dẫn đến tệp tokenizers (thường có phần mở rộng .json) chứa mọi thứ cần thiết để nạp tokenizer.
  • unk_token (str, tùy chọn, mặc định là "<|endoftext|>") — Token không xác định. Một token không có trong từ vựng sẽ không thể được chuyển đổi thành ID và sẽ được gán thành token này thay thế.
  • bos_token (str, tùy chọn, mặc định là "<|endoftext|>") — Token bắt đầu chuỗi. decoder_start_token_id được dùng để đặt token đầu tiên là "<|startoftranscript|>" khi tạo ra.
  • eos_token (str, tùy chọn, mặc định là "<|endoftext|>") — Token kết thúc chuỗi.
  • add_prefix_space (bool, tùy chọn, mặc định là False) — Có thêm một khoảng trắng ban đầu vào đầu vào hay không. Điều này cho phép xử lý từ đầu tiên giống như bất kỳ từ nào khác. (Trình phân tách từ của Whisper phát hiện đầu của các từ bằng khoảng trắng đứng trước).
  • language (str, tùy chọn) — Ngôn ngữ của văn bản phiên âm. Token id ngôn ngữ tương ứng được thêm vào đầu chuỗi cho các tác vụ nhận dạng giọng nói đa ngôn ngữ và dịch giọng nói, ví dụ đối với tiếng Tây Ban Nha, token "<|es|>" được thêm vào đầu chuỗi. Chỉ nên sử dụng cho việc tinh chỉnh đa ngôn ngữ.
  • task (str, tùy chọn) — Định danh tác vụ để thêm vào đầu chuỗi (nếu có). Nên sử dụng cho việc tinh chỉnh đa ngôn ngữ, với "transcribe" cho nhận dạng giọng nói và "translate" cho dịch giọng nói.
  • predict_timestamps (bool, tùy chọn, mặc định là False) — Có nên bỏ qua token <|notimestamps|> ở đầu chuỗi hay không.

Xây dựng một tokenizer Whisper “nhanh” (dựa trên thư viện tokenizers của HuggingFace).

Tokenizer này kế thừa từ PreTrainedTokenizerFast, lớp chứa hầu hết các phương thức chính. Người dùng nên tham khảo siêu lớp này để biết thêm thông tin về các phương thức đó.

set_prefix_tokens

< >

( language: str | None = Nonetask: str | None = Nonepredict_timestamps: bool | None = None )

Tham số

  • language (str, tùy chọn, mặc định là None) — Ngôn ngữ của văn bản phiên âm.
  • task (str, tùy chọn, mặc định là None) — Định danh tác vụ để thêm vào đầu chuỗi (nếu có).
  • predict_timestamps (bool, tùy chọn, mặc định là None) — Có nên bỏ qua token <|notimestamps|> ở đầu chuỗi hay không.

Ghi đè các token tiền tố được thêm vào đầu chuỗi nhãn. Phương thức này có thể được sử dụng độc lập để

cập nhật các token tiền tố theo yêu cầu khi tinh chỉnh. Ví dụ:

>>> # instantiate the tokenizer and set the prefix token to Spanish
>>> tokenizer = WhisperTokenizerFast.from_pretrained("openai/whisper-tiny", language="spanish")
>>> # now switch the prefix token from Spanish to French
>>> tokenizer.set_prefix_tokens(language="french")

get_special_tokens_mask

< >

( token_ids_0: listtoken_ids_1: list[int] | None = Nonealready_has_special_tokens: bool = False ) → list[int]

Tham số

  • token_ids_0 (list[int]) — Danh sách các ID.
  • token_ids_1 (list[int], tùy chọn) — Danh sách ID thứ hai tùy chọn cho các cặp chuỗi.
  • already_has_special_tokens (bool, tùy chọn, mặc định là False) — Danh sách token đã được định dạng với các token đặc biệt cho mô hình hay chưa.

Trả về

list[int]

Một danh sách các số nguyên trong khoảng [0, 1]: 1 cho một token đặc biệt, 0 cho một token chuỗi.

Lấy các id của chuỗi từ một danh sách token chưa được thêm token đặc biệt. Phương thức này được gọi khi thêm token đặc biệt bằng cách sử dụng phương thức prepare_for_model của tokenizer.

save_vocabulary

< >

( save_directory: strfilename_prefix: str | None = None )

batch_decode

< >

( sequences: list[int] | list[list[int]] | np.ndarray | torch.Tensorskip_special_tokens: bool = Falseclean_up_tokenization_spaces: bool | None = None**kwargs ) → list[str]

Tham số

  • sequences (Union[list[int], list[list[int]], np.ndarray, torch.Tensor]) — Danh sách các id đầu vào đã được token hóa. Có thể lấy được bằng cách sử dụng phương thức __call__.
  • skip_special_tokens (bool, tùy chọn, mặc định là False) — Có loại bỏ các token đặc biệt trong quá trình giải mã hay không.
  • clean_up_tokenization_spaces (bool, tùy chọn) — Có dọn dẹp khoảng trắng token hóa hay không. Nếu là None, mặc định sẽ là self.clean_up_tokenization_spaces.
  • kwargs (các tham số từ khóa bổ sung, tùy chọn) — Sẽ được truyền đến phương thức decode cụ thể của model bên dưới.

Trả về

list[str]

Danh sách các câu đã giải mã.

Chuyển đổi một danh sách các danh sách id token thành một danh sách các chuỗi bằng cách gọi decode.

Phương pháp này được cung cấp để đảm bảo tương thích ngược. Phương pháp decode hiện xử lý đầu vào dạng lô (batched) một cách bản địa, do đó bạn có thể sử dụng trực tiếp decode thay vì batch_decode.

decode

< >

( token_idsskip_special_tokens: bool = Falseclean_up_tokenization_spaces: bool | None = Noneoutput_offsets: bool = Falsetime_precision: float = 0.02decode_with_timestamps: bool = Falsenormalize: bool = Falsebasic_normalize: bool = Falseremove_diacritics: bool = False**kwargs ) → str

Tham số

  • token_ids (Union[int, list[int], np.ndarray, torch.Tensor]) — Danh sách các id đầu vào đã được token hóa. Có thể lấy bằng cách sử dụng phương thức __call__.
  • skip_special_tokens (bool, tùy chọn, mặc định là False) — Có nên loại bỏ các token đặc biệt trong quá trình giải mã hay không. Sẽ loại bỏ các token trước đó (trước prompt) nếu có.
  • clean_up_tokenization_spaces (bool, tùy chọn) — Có dọn dẹp khoảng trắng token hóa hay không. Nếu là None, mặc định sẽ là self.clean_up_tokenization_spaces (có sẵn trong tokenizer_config).
  • output_offsets (bool, tùy chọn, mặc định là False) — Có xuất các offset của các token hay không. Chỉ nên đặt giá trị này nếu mô hình đã dự đoán các mốc thời gian. Nếu có các token trước đó (trước prompt) cần giải mã, chúng chỉ xuất hiện trong văn bản đã giải mã nếu chúng chứa các token mốc thời gian.
  • time_precision (float, tùy chọn, mặc định là 0.02) — Tỷ lệ thời gian để chuyển đổi từ token sang thời gian.
  • decode_with_timestamps (bool, tùy chọn, mặc định là False) — Có giải mã với các mốc thời gian được bao gồm trong văn bản thô hay không.
  • normalize (bool, tùy chọn, mặc định là False) — Có áp dụng bộ chuẩn hóa văn bản tiếng Anh lên văn bản đã giải mã hay không. Chỉ áp dụng khi văn bản đích là tiếng Anh. Ngược lại, nên áp dụng bộ chuẩn hóa văn bản cơ bản.
  • basic_normalize (bool, tùy chọn, mặc định là False) — Có áp dụng bộ chuẩn hóa văn bản Basic lên văn bản đã giải mã hay không. Áp dụng cho văn bản đích đa ngôn ngữ.
  • remove_diacritics (bool, tùy chọn, mặc định là False) — Có nên loại bỏ các dấu phụ khi áp dụng bộ chuẩn hóa văn bản Basic hay không. Việc loại bỏ dấu phụ có thể làm mất thông tin trong văn bản đã giải mã, do đó cần sử dụng cẩn thận.
  • kwargs (các tham số từ khóa bổ sung, tùy chọn) — Sẽ được truyền đến phương thức decode cụ thể của model bên dưới.

Trả về

str

Câu đã được giải mã.

Chuyển đổi một chuỗi các id trong một chuỗi ký tự, sử dụng tokenizer và từ vựng với các tùy chọn để loại bỏ các token đặc biệt và dọn dẹp khoảng trắng trong token hóa.

Tương tự như việc thực hiện self.convert_tokens_to_string(self.convert_ids_to_tokens(token_ids)).

basic_normalize

< >

( textremove_diacritics = False )

Chuẩn hóa một chuỗi cho trước bằng cách sử dụng lớp BasicTextNormalizer, thực hiện các phép biến đổi phổ biến trên văn bản đa ngôn ngữ.

normalize

< >

( text )

Chuẩn hóa một chuỗi cho trước bằng cách sử dụng lớp EnglishTextNormalizer, lớp này thực hiện các phép biến đổi phổ biến trên văn bản tiếng Anh.

WhisperFeatureExtractor

lớp transformers.WhisperFeatureExtractor

< >

( feature_size = 80sampling_rate = 16000hop_length = 160chunk_length = 30n_fft = 400padding_value = 0.0dither = 0.0return_attention_mask = False**kwargs )

Tham số

  • feature_size (int, tùy chọn, mặc định là 80) — Kích thước chiều của các đặc trưng đã trích xuất.
  • sampling_rate (int, tùy chọn, mặc định là 16000) — Tần số lấy mẫu (tính bằng hertz (Hz)) mà các tệp âm thanh cần được số hóa.
  • hop_length (int, tùy chọn, mặc định là 160) — Chiều dài của các cửa sổ chồng lấn cho STFT được sử dụng để lấy các hệ số Mel Frequency.
  • chunk_length (int, tùy chọn, mặc định là 30) — Số lượng chunk tối đa của sampling_rate mẫu được sử dụng để cắt và đệm các chuỗi âm thanh dài hơn hoặc ngắn hơn.
  • n_fft (int, tùy chọn, mặc định là 400) — Kích thước của phép biến đổi Fourier.
  • padding_value (float, tùy chọn, mặc định là 0.0) — Giá trị đệm được dùng để đệm âm thanh. Nên tương ứng với các khoảng im lặng.
  • dither (float, tuỳ chọn, mặc định là 0.0) — Thêm nhiễu dither. Nói cách khác, thêm một lượng nhiễu Gaussian nhỏ vào mỗi khung. Ví dụ, dùng 0.0001 để thêm nhiễu dither với phân phối chuẩn có tâm tại 0.0 và độ lệch chuẩn 0.0001 (giả sử khoảng giá trị của raw_speech là [-1,+1]). Giá trị 0.0 có nghĩa là không thêm nhiễu. Nhiễu dither có tác dụng tương tự như spectrogram(mel_floor=...). Nó làm giảm các giá trị log_mel_fbank cao cho các tín hiệu có các đoạn bằng không tuyệt đối, khi có ngưỡng cắt VAD trong tín hiệu.

Tạo một bộ trích xuất đặc trưng Whisper.

Feature extractor này kế thừa từ SequenceFeatureExtractor, bao gồm hầu hết các phương thức chính. Người dùng nên tham khảo lớp cha này để biết thêm thông tin về các phương thức đó.

Lớp này trích xuất các đặc trưng mel-filter bank từ giọng nói thô bằng cách sử dụng một cài đặt numpy tùy chỉnh của Short Time Fourier Transform, vốn nên khớp với tương đương torch.stft của pytorch.

__call__

< >

( raw_speech: numpy.ndarray | list[float] | list[numpy.ndarray] | list[list[float]]truncation: bool = Truepad_to_multiple_of: int | None = Nonereturn_tensors: str | transformers.utils.generic.TensorType | None = Nonereturn_attention_mask: bool | None = Nonepadding: str | None = 'max_length'max_length: int | None = Nonesampling_rate: int | None = Nonedo_normalize: bool | None = Nonedevice: str | None = 'cpu'**kwargs )

Tham số

  • raw_speech (np.ndarray, list[float], list[np.ndarray], list[list[float]]) — Chuỗi hoặc lô các chuỗi cần được đệm. Mỗi chuỗi có thể là một mảng numpy, một danh sách các giá trị float, một danh sách các mảng numpy hoặc một danh sách các danh sách giá trị float. Phải là âm thanh kênh đơn (mono), không phải stereo, tức là một giá trị float duy nhất cho mỗi bước thời gian.
  • truncation (bool, tùy chọn, mặc định là True) — Bật tính năng cắt để giảm các chuỗi đầu vào dài hơn max_length xuống còn max_length.
  • pad_to_multiple_of (int, tuỳ chọn, mặc định là None) — Nếu được đặt, sẽ đệm chuỗi đến bội số của giá trị được cung cấp.

    Điều này đặc biệt hữu ích để cho phép sử dụng Tensor Cores trên phần cứng NVIDIA có khả năng tính toán >= 7.5 (Volta), hoặc trên TPU, nơi mà việc có độ dài chuỗi là bội số của 128 sẽ mang lại lợi ích.

  • return_tensors (str hoặc TensorType, tùy chọn) — Nếu được đặt, sẽ trả về tensor thay vì danh sách các số nguyên Python. Các giá trị chấp nhận được là:
    • 'pt': Trả về các đối tượng torch.Tensor của PyTorch.
    • 'np': Trả về các đối tượng Numpy np.ndarray.
  • return_attention_mask (bool, tuỳ chọn) — Có trả về attention mask hay không. Nếu để mặc định, sẽ trả về attention mask theo mặc định của feature_extractor cụ thể.

    Mặt nạ chú ý là gì?

    Đối với các mô hình Whisper, attention_mask luôn phải được truyền vào khi suy luận theo lô (batched inference) để tránh các lỗi tinh vi.

  • padding (str hoặc PaddingStrategy, tùy chọn, mặc định là 'max_length') — Kích hoạt và kiểm soát padding. Chấp nhận các giá trị sau:
    • 'longest': Lấp đầy (pad) đến độ dài của chuỗi dài nhất trong batch (hoặc không lấp đầy nếu chỉ cung cấp một chuỗi duy nhất).
    • 'max_length' (mặc định): Lấp đầy đến độ dài tối đa được chỉ định bằng tham số max_length hoặc đến độ dài đầu vào tối đa được chấp nhận cho mô hình nếu không cung cấp tham số đó.
    • 'do_not_pad': Không đệm (tức là có thể xuất ra một lô với các chuỗi có độ dài khác nhau).
  • max_length (int, tuỳ chọn) — Kiểm soát độ dài tối đa được sử dụng bởi một trong các tham số cắt/giữ chỗ (truncation/padding).

    Nếu không được đặt hoặc được đặt thành None, tham số này sẽ sử dụng độ dài tối đa định trước của mô hình nếu một trong các tham số cắt/giữ chỗ yêu cầu độ dài tối đa. Nếu mô hình không có độ dài đầu vào tối đa cụ thể (như XLNet), việc cắt/giữ chỗ đến độ dài tối đa sẽ bị vô hiệu hóa.

  • sampling_rate (int, tùy chọn) — Tần số lấy mẫu mà đầu vào raw_speech được lấy mẫu. Rất khuyến nghị truyền sampling_rate tại cuộc gọi forward để ngăn các lỗi âm thầm và cho phép pipeline nhận dạng giọng nói tự động.
  • do_normalize (bool, tùy chọn, mặc định là False) — Có nên chuẩn hóa đầu vào theo phương pháp trung bình bằng không và phương sai đơn vị hay không. Việc chuẩn hóa có thể giúp cải thiện đáng kể hiệu suất của mô hình.
  • device (str, tùy chọn, mặc định là 'cpu') — Chỉ định thiết bị để tính toán phổ log-mel của tín hiệu âm thanh trong phương thức _torch_extract_fbank_features. (ví dụ: “cpu”, “cuda”)
  • **kwargs — Không được hỗ trợ bởi WhisperFeatureExtractor.call() và bị bỏ qua.

Phương thức chính để tạo đặc trưng và chuẩn bị một hoặc nhiều chuỗi cho mô hình. Việc triển khai sử dụng PyTorch cho phép tính toán STFT nếu khả dụng, nếu không sẽ dùng phương án dựa trên NumPy chậm hơn.

WhisperProcessor

lớp transformers.WhisperProcessor

< >

( feature_extractortokenizer )

Tham số

  • feature_extractor (WhisperFeatureExtractor) — Bộ trích xuất đặc trưng là một đầu vào bắt buộc.
  • tokenizer (WhisperTokenizer) — Tokenizer là đầu vào bắt buộc.

Tạo một WhisperProcessor đóng gói một bộ trích xuất đặc trưng và một bộ phân từ thành một bộ xử lý duy nhất.

WhisperProcessor cung cấp đầy đủ các chức năng của WhisperFeatureExtractor và WhisperTokenizer. Xem ~WhisperFeatureExtractor và ~WhisperTokenizer để biết thêm thông tin.

__call__

< >

( *args**kwargs )

Tham số

  • return_tensors (str hoặc TensorType, tùy chọn) — Nếu được đặt, sẽ trả về tensor của một framework cụ thể. Các giá trị chấp nhận được là:
    • 'pt': Trả về các đối tượng torch.Tensor của PyTorch.
    • 'np': Trả về các đối tượng np.ndarray của NumPy.

from_pretrained

< >

( pretrained_model_name_or_path: str | os.PathLikecache_dir: str | os.PathLike | None = Noneforce_download: bool = Falselocal_files_only: bool = Falsetoken: str | bool | None = Nonerevision: str = 'main'**kwargs )

Tham số

  • pretrained_model_name_or_path (str hoặc os.PathLike) — Đây có thể là:
    • một chuỗi, model id của một feature_extractor được huấn luyện trước lưu trữ trong một kho model trên huggingface.co.
    • đường dẫn đến một thư mục chứa tệp feature extractor được lưu bằng phương thức save_pretrained(), ví dụ: ./my_model_directory/.
    • đường dẫn đến tệp JSON bộ trích xuất đặc trưng đã lưu tệp, ví dụ: ./my_model_directory/preprocessor_config.json.
  • **kwargs — Các đối số từ khóa bổ sung được truyền đến cả from_pretrained() và ~tokenization_utils_base.PreTrainedTokenizer.from_pretrained.

Tạo một processor liên kết với một model được huấn luyện trước.

Phương thức lớp này đơn giản là gọi phương thức from_pretrained() của bộ trích xuất đặc trưng, ImageProcessingMixin của bộ xử lý ảnh và ~tokenization_utils_base.PreTrainedTokenizer.from_pretrained của bộ phân từ. Vui lòng tham khảo các docstring của các phương thức ở trên để biết thêm thông tin.

save_pretrained

< >

( save_directorypush_to_hub: bool = False**kwargs )

Tham số

  • save_directory (str hoặc os.PathLike) — Thư mục nơi tệp JSON của bộ trích xuất đặc trưng và các tệp tokenizer sẽ được lưu (thư mục sẽ được tạo nếu chưa tồn tại).
  • push_to_hub (bool, tùy chọn, mặc định là False) — Có đẩy mô hình của bạn lên Hugging Face model hub sau khi lưu hay không. Bạn có thể chỉ định kho lưu trữ muốn đẩy đến bằng repo_id (mặc định sẽ là tên của save_directory trong namespace của bạn).
  • kwargs (dict[str, Any], tùy chọn) — Các đối số từ khóa bổ sung được truyền đến phương thức push_to_hub().

Lưu các thuộc tính của bộ xử lý này (bộ trích xuất đặc trưng, bộ phân từ…) vào thư mục được chỉ định để có thể tải lại bằng phương thức from_pretrained().

Phương thức lớp này đơn giản chỉ gọi save_pretrained() và save_pretrained(). Vui lòng tham khảo docstring của các phương thức ở trên để biết thêm thông tin.

batch_decode

< >

( *args**kwargs )

Phương pháp này chuyển tiếp tất cả các đối số của nó đến batch_decode() của PreTrainedTokenizer. Vui lòng tham khảo docstring của phương pháp này để biết thêm thông tin.

decode

< >

( *args**kwargs )

Phương pháp này chuyển tiếp tất cả các đối số của nó đến decode() của PreTrainedTokenizer. Vui lòng tham khảo docstring của phương pháp này để biết thêm thông tin.

WhisperModel

lớp transformers.WhisperModel

< >

( config: WhisperConfig )

Tham số

  • config (WhisperConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Whisper cơ bản, xuất ra các hidden-state thô mà không có bất kỳ head cụ thể nào ở phía trên.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( input_features: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.LongTensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonedecoder_inputs_embeds: tuple[torch.Tensor] | None = Nonedecoder_position_ids: tuple[torch.LongTensor] | None = Noneuse_cache: bool | None = None**kwargs ) → Seq2SeqModelOutput or tuple(torch.Tensor)

Tham số

  • input_features (torch.Tensor có hình dạng (batch_size, sequence_length, feature_dim), tùy chọn) — Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng cách sử dụng WhisperFeatureExtractor. Xem WhisperFeatureExtractor.call() để biết thêm chi tiết (WhisperProcessor sử dụng WhisperFeatureExtractor để xử lý âm thanh).
  • attention_mask (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện attention trên các chỉ số token padding. Các giá trị mặt nạ được chọn trong [0, 1]:
    • 1 cho các token không bị che,
    • 0 cho các token bị che.

    Mặt nạ chú ý là gì?

  • decoder_input_ids (torch.LongTensor có hình dạng (batch_size, target_sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào của decoder trong bảng từ vựng. Có thể lấy chỉ số bằng cách sử dụng WhisperTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết. Decoder input IDs là gì? Whisper sử dụng decoder_start_token_id làm token bắt đầu cho việc tạo decoder_input_ids. Nếu sử dụng past_key_values, tùy chọn chỉ cần nhập các decoder_input_ids cuối cùng (xem past_key_values).

    Các chỉ số có thể được lấy bằng cách sử dụng WhisperTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào của bộ giải mã là gì?

    Whisper sử dụng decoder_start_token_id làm token khởi đầu cho việc tạo decoder_input_ids. Nếu past_key_values được sử dụng, tùy chọn chỉ cần nhập decoder_input_ids cuối cùng (xem past_key_values).

  • decoder_attention_mask (torch.LongTensor có hình dạng (batch_size, target_sequence_length), tùy chọn) — Hành vi mặc định: tạo một tensor bỏ qua các token pad trong decoder_input_ids. Mặt nạ nhân quả (causal mask) cũng sẽ được sử dụng theo mặc định. Nếu bạn muốn thay đổi hành vi đệm (padding), bạn nên đọc modeling_whisper._prepare_decoder_attention_mask và chỉnh sửa theo nhu cầu. Xem sơ đồ 1 trong bài báo BART để biết thêm thông tin về chiến lược mặc định.

    Nếu bạn muốn thay đổi hành vi đệm, bạn nên đọc modeling_whisper._prepare_decoder_attention_mask và chỉnh sửa theo nhu cầu. Xem sơ đồ 1 trong bài báo BART để biết thêm thông tin về chiến lược mặc định.

  • encoder_outputs (tuple[tuple[torch.Tensor]], tùy chọn) — Tuple bao gồm (last_hidden_state, tùy chọn: hidden_states, tùy chọn: attentions) last_hidden_state có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.
  • past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.

    Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

    Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

    Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).

  • decoder_inputs_embeds (tuple[torch.Tensor] có hình dạng (batch_size, target_sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền decoder_input_ids bạn có thể chọn trực tiếp truyền một biểu diễn nhúng. Nếu past_key_values được sử dụng, tùy chọn chỉ cần decoder_inputs_embeds cuối cùng phải được nhập (xem past_key_values). Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi decoder_input_ids chỉ số thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

    Nếu cả decoder_input_ids và decoder_inputs_embeds đều không được đặt, decoder_inputs_embeds sẽ nhận giá trị của inputs_embeds.

  • decoder_position_ids (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng [0, config.n_positions - 1].

    ID vị trí là gì?

  • use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).

Trả về

Seq2SeqModelOutput hoặc tuple(torch.Tensor)

Một Seq2SeqModelOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (WhisperConfig) và đầu vào.

Phương thức forward của WhisperModel ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size)) — Chuỗi các hidden-state tại đầu ra của lớp cuối cùng của bộ giải mã (decoder) của mô hình.

    Nếu past_key_values được sử dụng, chỉ có hidden-state cuối cùng của các chuỗi có shape (batch_size, 1, hidden_size) được xuất ra.

  • past_key_values (EncoderDecoderCache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của EncoderDecoderCache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

    Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.

  • decoder_hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với các đầu ra nhúng ban đầu tùy chọn.

  • decoder_attentions (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

  • cross_attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Bộ tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.

  • encoder_last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.

  • encoder_hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với các đầu ra nhúng ban đầu tùy chọn.

  • encoder_attentions (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

Ví dụ:

>>> import torch
>>> from transformers import AutoFeatureExtractor, WhisperModel
>>> from datasets import load_dataset

>>> model = WhisperModel.from_pretrained("openai/whisper-base")
>>> feature_extractor = AutoFeatureExtractor.from_pretrained("openai/whisper-base")
>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> inputs = feature_extractor(ds[0]["audio"]["array"], return_tensors="pt")
>>> input_features = inputs.input_features
>>> decoder_input_ids = torch.tensor([[1, 1]]) * model.config.decoder_start_token_id
>>> last_hidden_state = model(input_features, decoder_input_ids=decoder_input_ids).last_hidden_state
>>> list(last_hidden_state.shape)
[1, 2, 512]

_mask_input_features

< >

( input_features: Tensorattention_mask: typing.Optional[torch.LongTensor] = None )

Masks trích xuất các đặc trưng dọc theo trục thời gian và/hoặc dọc theo trục đặc trưng theo SpecAugment.

WhisperForConditionalGeneration

lớp transformers.WhisperForConditionalGeneration

< >

( config: WhisperConfig )

Tham số

  • config (WhisperConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Whisper có đầu mô hình hóa ngôn ngữ. Có thể được sử dụng cho nhận dạng giọng nói tự động.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( input_features: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.LongTensor] = Nonedecoder_input_ids: typing.Optional[torch.LongTensor] = Nonedecoder_attention_mask: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Nonedecoder_inputs_embeds: tuple[torch.Tensor] | None = Nonedecoder_position_ids: tuple[torch.LongTensor] | None = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs ) → Seq2SeqLMOutput or tuple(torch.Tensor)

Tham số

  • input_features (torch.Tensor có hình dạng (batch_size, sequence_length, feature_dim), tùy chọn) — Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng cách sử dụng WhisperFeatureExtractor. Xem WhisperFeatureExtractor.call() để biết thêm chi tiết (WhisperProcessor sử dụng WhisperFeatureExtractor để xử lý âm thanh).
  • attention_mask (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện attention trên các chỉ số token padding. Các giá trị mặt nạ được chọn trong [0, 1]:
    • 1 cho các token không bị che,
    • 0 cho các token bị che.

    Mặt nạ chú ý là gì?

  • decoder_input_ids (torch.LongTensor có hình dạng (batch_size, target_sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào của decoder trong bảng từ vựng. Có thể lấy chỉ số bằng cách sử dụng WhisperTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết. Decoder input IDs là gì? Whisper sử dụng decoder_start_token_id làm token bắt đầu cho việc tạo decoder_input_ids. Nếu sử dụng past_key_values, tùy chọn chỉ cần nhập các decoder_input_ids cuối cùng (xem past_key_values).

    Các chỉ số có thể được lấy bằng cách sử dụng WhisperTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào của bộ giải mã là gì?

    Whisper sử dụng decoder_start_token_id làm token khởi đầu cho việc tạo decoder_input_ids. Nếu past_key_values được sử dụng, tùy chọn chỉ cần nhập decoder_input_ids cuối cùng (xem past_key_values).

  • decoder_attention_mask (torch.LongTensor có hình dạng (batch_size, target_sequence_length), tùy chọn) — Hành vi mặc định: tạo một tensor bỏ qua các token pad trong decoder_input_ids. Mặt nạ nhân quả (causal mask) cũng sẽ được sử dụng theo mặc định. Nếu bạn muốn thay đổi hành vi đệm (padding), bạn nên đọc modeling_whisper._prepare_decoder_attention_mask và chỉnh sửa theo nhu cầu. Xem sơ đồ 1 trong bài báo BART để biết thêm thông tin về chiến lược mặc định.

    Nếu bạn muốn thay đổi hành vi đệm, bạn nên đọc modeling_whisper._prepare_decoder_attention_mask và chỉnh sửa theo nhu cầu. Xem sơ đồ 1 trong bài báo BART để biết thêm thông tin về chiến lược mặc định.

  • encoder_outputs (tuple[tuple[torch.Tensor]], tùy chọn) — Tuple bao gồm (last_hidden_state, tùy chọn: hidden_states, tùy chọn: attentions) last_hidden_state có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.
  • past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.

    Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

    Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

    Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).

  • decoder_inputs_embeds (tuple[torch.Tensor] có hình dạng (batch_size, target_sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền decoder_input_ids bạn có thể chọn trực tiếp truyền một biểu diễn nhúng. Nếu past_key_values được sử dụng, tùy chọn chỉ cần decoder_inputs_embeds cuối cùng phải được nhập (xem past_key_values). Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi decoder_input_ids chỉ số thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.

    Nếu cả decoder_input_ids và decoder_inputs_embeds đều không được đặt, decoder_inputs_embeds sẽ nhận giá trị của inputs_embeds.

  • decoder_position_ids (torch.LongTensor có hình dạng (batch_size, sequence_length), tùy chọn) — Chỉ số vị trí của các token trong mỗi chuỗi đầu vào trong các position embeddings. Được chọn trong khoảng [0, config.n_positions - 1].

    ID vị trí là gì?

  • labels (torch.LongTensor có shape (batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ. Chỉ số phải nằm trong [0, ..., config.vocab_size] hoặc -100 (xem docstring của input_ids). Các token có chỉ số được đặt thành -100 sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn trong [0, ..., config.vocab_size]. sequence_length phải nhỏ hơn hoặc bằng config.max_target_positions.
  • use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).

Trả về

Seq2SeqLMOutput hoặc tuple(torch.Tensor)

Một Seq2SeqLMOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (WhisperConfig) và đầu vào.

Phương thức forward của WhisperForConditionalGeneration ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • loss (torch.Tensor có shape (1,), tùy chọn, được trả về khi labels được cung cấp) — Loss của language modeling.

  • logits (torch.Tensor có hình dạng (batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token trong từ vựng trước SoftMax).

  • past_key_values (EncoderDecoderCache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của EncoderDecoderCache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

    Chứa các hidden-states đã được tính trước (key và values trong các khối self-attention và trong các khối cross-attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.

  • decoder_hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của bộ giải mã tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.

  • decoder_attentions (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

  • cross_attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Bộ tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của lớp cross-attention của bộ giải mã, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý chéo.

  • encoder_last_hidden_state (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Chuỗi các trạng thái ẩn tại đầu ra của lớp cuối cùng của bộ mã hóa trong mô hình.

  • encoder_hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của bộ mã hóa tại đầu ra của mỗi lớp cùng với đầu ra của nhúng ban đầu.

  • encoder_attentions (tuple(torch.Tensor), tùy chọn, được trả về khi truyền output_attentions=True hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý của bộ mã hóa, sau softmax chú ý, được sử dụng để tính trung bình có trọng số trong các đầu chú ý tự (self-attention).

Ví dụ:

>>> import torch
>>> from transformers import AutoProcessor, WhisperForConditionalGeneration
>>> from datasets import load_dataset

>>> processor = AutoProcessor.from_pretrained("openai/whisper-tiny.en")
>>> model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-tiny.en")

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

>>> inputs = processor(ds[0]["audio"]["array"], return_tensors="pt")
>>> input_features = inputs.input_features

>>> generated_ids = model.generate(inputs=input_features)

>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
>>> transcription
' Mr. Quilter is the apostle of the middle classes, and we are glad to welcome his gospel.'

generate

< >

( input_features: typing.Optional[torch.Tensor] = Nonegeneration_config: transformers.generation.configuration_utils.GenerationConfig | None = Nonelogits_processor: transformers.generation.logits_process.LogitsProcessorList | None = Nonestopping_criteria: transformers.generation.stopping_criteria.StoppingCriteriaList | None = Noneprefix_allowed_tokens_fn: collections.abc.Callable[[int, torch.Tensor], list[int]] | None = Nonesynced_gpus: bool = Falsereturn_timestamps: bool | None = Nonetask: str | None = Nonelanguage: str | list[str] | None = Noneis_multilingual: bool | None = Noneprompt_ids: typing.Optional[torch.Tensor] = Noneprompt_condition_type: str | None = Nonecondition_on_prev_tokens: bool | None = Nonetemperature: float | tuple[float, ...] | None = Nonecompression_ratio_threshold: float | None = Nonelogprob_threshold: float | None = Noneno_speech_threshold: float | None = Nonenum_segment_frames: int | None = Noneattention_mask: typing.Optional[torch.Tensor] = Nonetime_precision: float = 0.02time_precision_features: float = 0.01return_token_timestamps: bool | None = Nonereturn_segments: bool = Falsereturn_dict_in_generate: bool | None = Noneforce_unique_generate_call: bool | None = Nonemonitor_progress: collections.abc.Callable[[torch.Tensor], None] | None = None**kwargs ) → ModelOutput or dict[str, Any] or torch.LongTensor

Tham số

  • input_features (torch.Tensor có shape (batch_size, feature_size, sequence_length), tùy chọn) — Các giá trị float của các đặc trưng log-mel được trích xuất từ dạng sóng âm thanh thô. Dạng sóng âm thanh thô có thể được lấy bằng cách tải tệp âm thanh .flac hoặc .wav vào một mảng có kiểu list[float], numpy.ndarray hoặc torch.Tensor, ví dụ thông qua thư viện torchcodec (pip install torchcodec) hoặc thư viện soundfile (pip install soundfile). Để chuẩn bị mảng thành input_features, cần sử dụng AutoFeatureExtractor để trích xuất các đặc trưng mel, đệm (padding) và chuyển đổi thành tensor có kiểu torch.Tensor. Xem call() để biết chi tiết.
  • generation_config (GenerationConfig, optional) — Cấu hình sinh được sử dụng làm tham số cơ sở cho lệnh gọi sinh. Các **kwargs được truyền vào generate khớp với các thuộc tính của generation_config sẽ ghi đè lên chúng. Nếu generation_config không được cung cấp, giá trị mặc định sẽ được sử dụng, với thứ tự ưu tiên nạp như sau: 1) từ tệp mô hình generation_config.json, nếu tệp này tồn tại; 2) từ cấu hình mô hình. Vui lòng lưu ý rằng các tham số không được chỉ định sẽ kế thừa các giá trị mặc định của GenerationConfig, và tài liệu của chúng nên được kiểm tra để tham số hóa quá trình sinh.
  • logits_processor (LogitsProcessorList, tùy chọn) — Các logits processor tùy chỉnh bổ sung cho các logits processor mặc định được tạo từ các đối số và cấu hình sinh. Nếu một logit processor được truyền vào mà đã được tạo từ các đối số hoặc một cấu hình sinh, một lỗi sẽ được ném ra. Tính năng này dành cho người dùng nâng cao.
  • stopping_criteria (StoppingCriteriaList, tùy chọn) — Các tiêu chí dừng tùy chỉnh bổ sung cho các tiêu chí dừng mặc định được xây dựng từ các đối số và cấu hình sinh. Nếu một tiêu chí dừng được truyền vào mà đã được tạo từ các đối số hoặc cấu hình sinh, một lỗi sẽ được ném ra. Tính năng này dành cho người dùng nâng cao.
  • prefix_allowed_tokens_fn (Callable[[int, torch.Tensor], list[int]], tùy chọn) — Nếu được cung cấp, hàm này sẽ ràng buộc beam search chỉ sử dụng các token được phép ở mỗi bước. Nếu không được cung cấp, sẽ không áp dụng ràng buộc nào. Hàm này nhận 2 đối số: ID của batch batch_id và input_ids. Nó phải trả về một danh sách chứa các token được phép cho bước sinh tiếp theo, dựa trên ID của batch batch_id và các token đã được sinh trước đó inputs_ids. Đối số này hữu ích cho việc sinh có ràng buộc dựa trên tiền tố, như được mô tả trong Autoregressive Entity Retrieval.
  • synced_gpus (bool, tùy chọn, mặc định là False) — Có nên tiếp tục chạy vòng lặp while cho đến max_length hay không (cần thiết để tránh deadlock với FullyShardedDataParallel và DeepSpeed ZeRO Stage 3).
  • return_timestamps (bool, tùy chọn) — Có trả về các mốc thời gian cùng với văn bản hay không. Điều này kích hoạt WhisperTimestampsLogitsProcessor. Đối với âm thanh dài hơn 30 giây, cần đặt return_timestamps=True.
  • task (str, tùy chọn) — Nhiệm vụ cần sử dụng cho quá trình tạo, là “translate” hoặc “transcribe”.
  • language (str hoặc danh sách str, tùy chọn) — Token ngôn ngữ để sử dụng cho việc tạo, có thể ở dạng <|en|>, en hoặc english. Đối với việc tạo theo lô, có thể truyền một danh sách các token ngôn ngữ. Bạn có thể tìm thấy tất cả các token ngôn ngữ khả dụng trong từ điển model.generation_config.lang_to_id.
  • is_multilingual (bool, tùy chọn) — Xác định xem mô hình có đa ngôn ngữ hay không.
  • prompt_ids (torch.Tensor, tùy chọn) — Tensor rank-1 chứa các token ID được tạo bằng cách truyền văn bản vào get_prompt_ids(), được cung cấp làm prompt cho mỗi chunk. Tham số này có thể được dùng để cung cấp hoặc “prompt-engineer” ngữ cảnh cho việc chuyển văn bản thành chữ, ví dụ như bảng từ vựng tùy chỉnh hoặc danh từ riêng, nhằm tăng khả năng dự đoán chính xác các từ đó. Không thể sử dụng cùng lúc với decoder_start_token_id vì nó ghi đè lên giá trị này.
  • prompt_condition_type (str, tùy chọn) — Chỉ liên quan đến chuyển tự dạng dài. Kiểu điều kiện của prompt_ids. ‘first-segment’ có nghĩa là chỉ đoạn đầu tiên được điều kiện bởi prompt_ids. ‘all-segments’ có nghĩa là mỗi đoạn được điều kiện bởi prompt_ids. Hãy đảm bảo bật condition_on_prev_tokens cho ‘all-segments’. Mặc định là ‘first-segment’. Đối với chuyển tự dạng ngắn, chỉ có thể dùng ‘first-segment’.
  • condition_on_prev_tokens (bool, tuỳ chọn) — Chỉ liên quan đến chuyển tự dạng dài. Xác định việc có điều kiện cho mỗi đoạn dựa trên đoạn trước đó hay không. Như đã trình bày trong bài báo về Whisper, điều này có thể giúp cải thiện hiệu suất.
  • temperature (float hoặc danh sách float, tùy chọn) — Nhiệt độ được sử dụng cho quá trình sinh. Truyền một giá trị float duy nhất và do_sample=True sẽ kích hoạt sinh bằng phương pháp lấy mẫu. Đối với chuyển tự dạng dài, có thể kích hoạt chế độ dự phòng nhiệt độ bằng cách truyền một danh sách các giá trị float, chẳng hạn như (0.0, 0.2, 0.4, 0.6, 0.8, 1.0). Như đã trình bày trong bài báo về Whisper, điều này có thể giúp cải thiện hiệu suất.
  • compression_ratio_threshold (float, tùy chọn) — Chỉ liên quan đến chuyển văn bản dạng dài. Nếu được định nghĩa, tỷ lệ nén zlib của mỗi đoạn sẽ được tính toán. Nếu tỷ lệ nén của một đoạn cao hơn compression_ratio_threshold, cơ chế dự phòng nhiệt độ sẽ được kích hoạt: đoạn được tạo ra sẽ bị loại bỏ và quá trình tạo sẽ được lặp lại bằng một nhiệt độ cao hơn. Ý tưởng đằng sau tính năng này là các đoạn có tỷ lệ nén rất cao thường bị lặp lại nhiều. Sự lặp lại không mong muốn có thể được giảm bớt bằng cách tăng tính ngẫu nhiên thông qua việc tăng nhiệt độ. Nếu compression_ratio_threshold được định nghĩa, hãy đảm bảo rằng temperature là một danh sách các giá trị. Một giá trị phổ biến cho compression_ratio_threshold là 1.35. Như đã được trình bày trong bài báo về Whisper, điều này có thể giúp cải thiện hiệu suất.
  • logprob_threshold (float, tùy chọn) — Chỉ liên quan đến chuyển tự dạng dài. Nếu được định nghĩa, log-probability trung bình của mỗi đoạn sẽ được tính toán. Nếu log-probability của một đoạn cụ thể thấp hơn logprob_threshold, cơ chế temperature fallback sẽ được kích hoạt: đoạn được tạo ra sẽ bị loại bỏ và quá trình tạo sẽ được lặp lại bằng cách sử dụng temperature cao hơn. Ý tưởng đằng sau tính năng này là các đoạn có log-probability thấp có thể được cải thiện bằng cách tăng tính ngẫu nhiên thông qua việc tăng temperature. Nếu logprob_threshold được định nghĩa, hãy đảm bảo rằng temperature là một danh sách các giá trị. Một giá trị phổ biến cho logprob_threshold là -1.0. Như đã được trình bày trong bài báo về Whisper, điều này có thể giúp cải thiện hiệu suất.
  • no_speech_threshold (float, tùy chọn) — Chỉ liên quan đến việc chuyển văn bản giọng nói dài. Nếu được định nghĩa, token “no-speech” kết hợp với logprob_threshold sẽ được sử dụng để xác định xem một đoạn có chỉ chứa im lặng hay không. Trong trường hợp này, việc chuyển văn bản cho đoạn đó sẽ bị bỏ qua. Như đã được trình bày trong bài báo về Whisper, điều này có thể giúp cải thiện hiệu suất.
  • num_segment_frames (int, tùy chọn) — Số lượng khung hình cấu thành một phân đoạn đơn lẻ. Nếu không được định nghĩa, num_segment_frames mặc định bằng stride của mô hình nhân với độ dài đầu vào tối đa.
  • attention_mask (torch.Tensor, tùy chọn) — attention_mask cần được truyền vào khi thực hiện chuyển văn bản dạng dài với batch size > 1.
  • time_precision (int, tùy chọn, mặc định là 0.02) — Thời lượng của token đầu ra tính bằng giây. Ví dụ 0.02 có nghĩa là một token được tạo ra trung bình chiếm 20 ms.
  • time_precision_features (int, tùy chọn, mặc định là 0.01) — Thời lượng mà một khung đặc trưng đại diện, tính bằng giây.
  • return_token_timestamps (bool, tùy chọn) — Có trả về mốc thời gian ở cấp độ token cùng với văn bản hay không. Tùy chọn này có thể được sử dụng có hoặc không kèm theo tùy chọn return_timestamps. Để lấy mốc thời gian ở cấp độ từ, hãy sử dụng tokenizer để nhóm các token thành các từ.
  • return_segments (bool, tùy chọn, mặc định là False) — Có nên trả về thêm danh sách tất cả các đoạn hay không. Lưu ý rằng tùy chọn này chỉ có thể được bật khi thực hiện chuyển văn bản giọng nói dài.
  • return_dict_in_generate (bool, tuỳ chọn, mặc định là False) — Có nên trả về một ModelOutput thay vì chỉ trả về các token đã tạo hay không. Lưu ý rằng khi thực hiện chuyển tự dạng dài, return_dict_in_generate chỉ có thể được bật khi return_segments được đặt thành True. Trong trường hợp này, kết quả tạo của mỗi đoạn sẽ được thêm vào từng đoạn tương ứng.
  • force_unique_generate_call (bool, tùy chọn) — Có nên ép buộc một cuộc gọi duy nhất đến phương thức generate() của GenerationMixin bên dưới hay không. Điều này hữu ích cho mục đích giải mã hỗ trợ (assisted decoding) và kiểm thử để đảm bảo rằng chỉ có một cuộc gọi đến generate() được thực hiện, do đó các id token đầu vào của bộ giải mã và các id token eos sẽ được trả về.
  • monitor_progress (Callable[[torch.Tensor], None], tùy chọn) — Nếu được cung cấp, hàm này có thể được gọi để báo cáo tiến độ của việc chuyển giọng nói thành văn bản. Hàm này nhận một đối số tensor p có hình dạng (n, 2), trong đó n là kích thước lô. p[i, 0] chứa chỉ số của khung âm thanh đang được chuyển thành văn bản cho mục lô i. p[i, 1] chứa tổng số khung cho mục lô i. Không mong đợi giá trị trả về.
  • kwargs (dict[str, Any], tùy chọn) — Tham số hóa ad hoc cho generate_config và/hoặc các kwargs cụ thể của model bổ sung sẽ được chuyển tiếp đến hàm forward của model. Nếu model là model encoder-decoder, các kwargs cụ thể của encoder không nên có tiền tố và các kwargs cụ thể của decoder nên có tiền tố decoder_.

Trả về

ModelOutput hoặc dict[str, Any] hoặc torch.LongTensor

Một trong những điều sau:

  • ModelOutput khi return_dict_in_generate=True và (return_timestamps=False hoặc force_unique_generate_call=True), bao gồm các id đầu vào của decoder và id kết thúc chuỗi.
  • dict[str, Any] khi (return_dict_in_generate=True và return_timestamps=True) hoặc return_segments=True hoặc return_token_timestamps=True.
  • torch.LongTensor trong mọi trường hợp khác, ngoại trừ các id đầu vào của bộ giải mã và id kết thúc chuỗi.

Các kiểu ModelOutput có thể có là:

segments là một danh sách các danh sách (mỗi danh sách tương ứng với một phần tử trong batch) của segment. Một segment là một từ điển với các khóa start, end, tokens, idxs và result.

  • start: mốc thời gian bắt đầu của đoạn.
  • end: mốc thời gian kết thúc của đoạn.
  • tokens: các token của đoạn, không bao gồm các id đầu vào của bộ giải mã và id kết thúc chuỗi.
  • idxs: các chỉ số bắt đầu (bao gồm) và kết thúc (không bao gồm) của tokens của đoạn trong cuộc gọi cơ bản đến generate() của GenerationMixin (có trong result).
  • result: kết quả của cuộc gọi cơ bản đến generate() của GenerationMixin.

Khi return_timestamps=True, return_dict_in_generate=True được áp dụng cho mỗi lần gọi generate() của GenerationMixin cơ bản, với kết quả được lưu trong result của mỗi segment.

Chuyển đổi hoặc dịch các đặc trưng đầu vào log-mel thành một chuỗi các id token được tạo theo cách tự hồi quy.

Hầu hết các tham số kiểm soát quá trình sinh được đặt trong generation_config, nếu không được truyền vào, sẽ được đặt thành cấu hình sinh mặc định của mô hình. Bạn có thể ghi đè bất kỳ generation_config nào bằng cách truyền các tham số tương ứng vào generate(), ví dụ .generate(inputs, num_beams=4, do_sample=True).

Để xem tổng quan về các chiến lược sinh và ví dụ mã, hãy xem hướng dẫn sau.

Ví dụ:

  • Chuyển văn bản dạng dài: Để chuyển văn bản hoặc dịch các tệp âm thanh dài hơn 30 giây, hãy xử lý các tệp âm thanh mà không cắt ngắn và truyền tất cả các đặc trưng mel cùng lúc vào generate. Cần thiết lập return_timestamps=True. Thật vậy, chuyển văn bản dạng dài sử dụng một thuật toán tuần tự dựa trên dự đoán mốc thời gian, với các phép toán gần đúng như ngưỡng tỷ lệ nén, ngưỡng xác suất log và phương án dự phòng nhiệt độ. Thuật toán này được mô tả trong bài báo gốc của Whisper, mục 3.8. Long-form Transcription.
>>> import torch
>>> from transformers import AutoProcessor, WhisperForConditionalGeneration
>>> from datasets import load_dataset, Audio

>>> processor = AutoProcessor.from_pretrained("openai/whisper-tiny.en")
>>> model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-tiny.en")
>>> model.cuda()
>>> # load audios > 30 seconds
>>> ds = load_dataset("distil-whisper/meanwhile", "default")["test"]
>>> # resample to 16kHz
>>> ds = ds.cast_column("audio", Audio(sampling_rate=16000))
>>> # take first 8 audios and retrieve array
>>> audio = ds[:8]["audio"]
>>> audio = [x["array"] for x in audio]

>>> # make sure to NOT truncate the input audio, to return the `attention_mask` and to pad to the longest audio
>>> inputs = processor(audio, return_tensors="pt", truncation=False, padding="longest", return_attention_mask=True, sampling_rate=16_000)
>>> inputs = inputs.to("cuda", torch.float32)

>>> # transcribe audio to ids
>>> generated_ids = model.generate(**inputs, return_timestamps=True)

>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)
>>> transcription[0]
" Folks, if you watch the show, you know, I spent a lot of time right over there. Patiently and astutely scrutinizing the boxwood and mahogany chest set of the day's biggest stories developing the central headline pawns, definitely maneuvering an oso topical night to F6, fainting a classic Sicilian, nade door variation on the news, all the while seeing eight moves deep and patiently marshalling the latest press releases into a fisher's shows in Lip Nitsky attack that culminates in the elegant lethal slow-played, all-passant checkmate that is my nightly monologue. But sometimes, sometimes, folks, I. CHEERING AND APPLAUSE Sometimes I startle away, cubside down in the monkey bars of a condemned playground on a super fun site. Get all hept up on goofballs. Rummage that were discarded tag bag of defective toys. Yank out a fist bowl of disembodied doll limbs, toss them on a stained kid's place mat from a defunct dennies. set up a table inside a rusty cargo container down by the Wharf and challenged toothless drifters to the godless bughouse blitz of tournament that is my segment. Meanwhile."

Callback monitor_progress có thể được sử dụng để theo dõi tiến độ của quá trình chuyển văn bản:

>>> from tqdm import tqdm

>>> # prepare inputs like above

>>> # define a callback to monitor the progress of the transcription.
>>> with tqdm(desc="Progress") as pbar:
>>>     def monitor_progress(p_batch):
>>>         i = torch.argmax(p_batch[:, 1])
>>>         p = p_batch[i].detach().cpu()
>>>         pbar.total = int(p[1])
>>>         pbar.n = int(p[0])
>>>         pbar.update()

>>>     # transcribe audio to ids
>>>     generated_ids = model.generate(**inputs, return_timestamps=True, monitor_progress=monitor_progress)

>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)
>>> transcription[0]
Progress:  95%|█████████████████████████████████████████████████████████████████████████████████████████████████▎    | 8497/8901 [00:04<00:00, 2052.79it/s]
" Folks, if you watch the show, you know, I spent a lot of time right over there. Patiently and astutely scrutinizing the boxwood and mahogany chest set of the day's biggest stories developing the central headline pawns, definitely maneuvering an oso topical night to F6, fainting a classic Sicilian, nade door variation on the news, all the while seeing eight moves deep and patiently marshalling the latest press releases into a fisher's shows in Lip Nitsky attack that culminates in the elegant lethal slow-played, all-passant checkmate that is my nightly monologue. But sometimes, sometimes, folks, I. CHEERING AND APPLAUSE Sometimes I startle away, cubside down in the monkey bars of a condemned playground on a super fun site. Get all hept up on goofballs. Rummage that were discarded tag bag of defective toys. Yank out a fist bowl of disembodied doll limbs, toss them on a stained kid's place mat from a defunct dennies. set up a table inside a rusty cargo container down by the Wharf and challenged toothless drifters to the godless bughouse blitz of tournament that is my segment. Meanwhile."
  • Chuyển văn bản dạng ngắn: Nếu các đặc trưng mel đầu vào được truyền vào có độ dài <= 30 giây, sẽ có hai khả năng:
    • return_timestamps=False: toàn bộ audio sẽ được chuyển thành văn bản bằng một lần gọi duy nhất tới generate() của GenerationMixin.
    • return_timestamps=True: âm thanh sẽ được chuyển thành văn bản bằng cùng một logic như chuyển văn bản dạng dài.
>>> import torch
>>> from transformers import AutoProcessor, WhisperForConditionalGeneration
>>> from datasets import load_dataset

>>> processor = AutoProcessor.from_pretrained("openai/whisper-tiny.en")
>>> model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-tiny.en")

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")

>>> inputs = processor(ds[0]["audio"]["array"], return_tensors="pt")
>>> input_features = inputs.input_features

>>> generated_ids = model.generate(inputs=input_features)

>>> transcription = processor.batch_decode(generated_ids, skip_special_tokens=True)[0]
>>> transcription
' Mr. Quilter is the apostle of the middle classes, and we are glad to welcome his gospel.'

WhisperForCausalLM

lớp transformers.WhisperForCausalLM

< >

( config: WhisperConfig )

Tham số

  • config (WhisperConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Bộ giải mã Whisper với một đầu mô hình hóa ngôn ngữ phía trên (tầng tuyến tính có trọng số được liên kết với các nhúng đầu vào).

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( input_ids: typing.Optional[torch.LongTensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneencoder_outputs: tuple[torch.Tensor] | None = Nonepast_key_values: transformers.cache_utils.Cache | None = Noneinputs_embeds: typing.Optional[torch.Tensor] = Nonelabels: typing.Optional[torch.LongTensor] = Noneuse_cache: bool | None = None**kwargs ) → CausalLMOutputWithCrossAttentions or tuple(torch.Tensor)

Tham số

  • input_ids (torch.LongTensor có dạng (batch_size, sequence_length), tùy chọn) — Chỉ số của các token trong chuỗi đầu vào theo từ điển. Mặc định, padding sẽ bị bỏ qua.

    Các chỉ số có thể được lấy bằng cách sử dụng AutoTokenizer. Xem PreTrainedTokenizer.encode() và PreTrainedTokenizer.call() để biết thêm chi tiết.

    ID đầu vào là gì?

  • attention_mask (torch.Tensor có hình dạng (batch_size, sequence_length), tùy chọn) — Mặt nạ để tránh thực hiện chú ý trên các chỉ số token đệm. Các giá trị mặt nạ được chọn trong [0, 1]:
    • 1 cho các token không bị che,
    • 0 cho các token bị che.

    Mặt nạ chú ý là gì?

  • encoder_outputs (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention nếu model được cấu hình như một decoder.
  • past_key_values (~cache_utils.Cache, tuỳ chọn) — Các hidden-state đã tính trước (key và value trong các khối self-attention và cross-attention) có thể được sử dụng để tăng tốc giải mã tuần tự. Điều này thường bao gồm past_key_values được trả về bởi mô hình ở một giai đoạn giải mã trước đó, khi use_cache=True hoặc config.use_cache=True.

    Chỉ cho phép Cache instance làm đầu vào, xem hướng dẫn kv cache của chúng tôi. Nếu không truyền past_key_values, DynamicCache sẽ được khởi tạo theo mặc định.

    Mô hình sẽ xuất ra cùng định dạng cache được đưa vào làm đầu vào.

    Nếu past_key_values được sử dụng, người dùng được kỳ vọng chỉ nhập input_ids chưa được xử lý (những phần chưa có trạng thái key value quá khứ được cung cấp cho mô hình này) có hình dạng (batch_size, unprocessed_length) thay vì toàn bộ input_ids có hình dạng (batch_size, sequence_length).

  • inputs_embeds (torch.Tensor có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) — Tùy chọn, thay vì truyền input_ids, bạn có thể chọn truyền trực tiếp một biểu diễn nhúng. Điều này hữu ích nếu bạn muốn kiểm soát nhiều hơn cách chuyển đổi các chỉ số input_ids thành các vector liên quan so với ma trận tra cứu nhúng nội bộ của mô hình.
  • labels (torch.LongTensor có shape (batch_size, sequence_length), tùy chọn) — Nhãn để tính toán tổn thất mô hình hóa ngôn ngữ có che (masked language modeling loss). Chỉ số phải nằm trong [0, ..., config.vocab_size] hoặc -100 (xem docstring của input_ids). Các token có chỉ số được đặt thành -100 sẽ bị bỏ qua (che), tổn thất chỉ được tính cho các token có nhãn nằm trong [0, ..., config.vocab_size].
  • use_cache (bool, tùy chọn) — Nếu đặt thành True, các trạng thái key value của past_key_values sẽ được trả về và có thể được sử dụng để tăng tốc quá trình giải mã (xem past_key_values).

Trả về

CausalLMOutputWithCrossAttentions hoặc tuple(torch.Tensor)

Một CausalLMOutputWithCrossAttentions hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (WhisperConfig) và đầu vào.

Phương thức forward của WhisperForCausalLM ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • loss (torch.Tensor có shape (1,), tùy chọn, được trả về khi labels được cung cấp) — Loss của language modeling (cho next-token prediction).

  • logits (torch.Tensor có hình dạng (batch_size, sequence_length, config.vocab_size)) — Điểm dự đoán của đầu mô hình hóa ngôn ngữ (điểm cho mỗi token trong từ vựng trước SoftMax).

  • hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

  • attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

  • cross_attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Bộ tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số của cross attention sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu cross-attention.

  • past_key_values (Cache, tùy chọn, được trả về khi use_cache=True được truyền vào hoặc khi config.use_cache=True) — Đây là một instance của Cache. Để biết thêm chi tiết, hãy xem hướng dẫn về kv cache của chúng tôi.

    Chứa các hidden-states đã được tính trước (key và values trong các khối attention) có thể được sử dụng (xem đầu vào past_key_values) để tăng tốc độ giải mã tuần tự.

Ví dụ:

>>> from transformers import WhisperForCausalLM, WhisperForConditionalGeneration, WhisperProcessor
>>> import torch
>>> from datasets import load_dataset

>>> processor = WhisperProcessor.from_pretrained("openai/whisper-large-v2")
>>> model = WhisperForConditionalGeneration.from_pretrained("openai/whisper-large-v2")

>>> assistant_model = WhisperForCausalLM.from_pretrained("distil-whisper/distil-large-v2")

>>> ds = load_dataset("hf-internal-testing/librispeech_asr_dummy", "clean", split="validation")
>>> sample = ds[0]["audio"]
>>> input_features = processor(
...     sample["array"], sampling_rate=sample["sampling_rate"], return_tensors="pt"
... ).input_features

>>> predicted_ids = model.generate(input_features, assistant_model=assistant_model)

>>> # decode token ids to text
>>> transcription = processor.batch_decode(predicted_ids, skip_special_tokens=True)[0]
>>> transcription
' Mr. Quilter is the apostle of the middle classes and we are glad to welcome his gospel.'

WhisperForAudioClassification

lớp transformers.WhisperForAudioClassification

< >

( config: WhisperConfig )

Tham số

  • config (WhisperConfig) — Lớp cấu hình mô hình chứa tất cả các tham số của mô hình. Khởi tạo bằng tệp cấu hình không tải trọng số liên quan đến mô hình, chỉ tải cấu hình. Xem phương thức from_pretrained() để tải trọng số của mô hình.

Mô hình Whisper Encoder với một đầu phân loại chuỗi phía trên (một lớp tuyến tính trên đầu ra đã được gộp) cho các tác vụ như SUPERB Keyword Spotting.

Mô hình này kế thừa từ PreTrainedModel. Xem tài liệu của lớp cha để biết các phương thức chung mà thư viện triển khai cho tất cả các mô hình của nó (chẳng hạn như tải xuống hoặc lưu trữ, thay đổi kích thước các nhúng đầu vào, cắt tỉa các đầu, v.v.)

Mô hình này cũng là một lớp con của torch.nn.Module trong PyTorch. Hãy sử dụng nó như một Module PyTorch thông thường và tham khảo tài liệu PyTorch cho mọi vấn đề liên quan đến cách sử dụng và hành vi chung.

forward

< >

( input_features: typing.Optional[torch.LongTensor] = Noneencoder_outputs: tuple[tuple[torch.Tensor]] | None = Nonelabels: typing.Optional[torch.LongTensor] = None**kwargs ) → SequenceClassifierOutput or tuple(torch.Tensor)

Tham số

  • input_features (torch.LongTensor có shape (batch_size, sequence_length, feature_dim), tùy chọn) — Các tensor tương ứng với các đặc trưng âm thanh đầu vào. Các đặc trưng âm thanh có thể được lấy bằng cách sử dụng WhisperFeatureExtractor. Xem WhisperFeatureExtractor.call() để biết chi tiết (WhisperProcessor sử dụng WhisperFeatureExtractor để xử lý âm thanh).
  • encoder_outputs (tuple[tuple[torch.Tensor]], tùy chọn) — Tuple bao gồm (last_hidden_state, tùy chọn: hidden_states, tùy chọn: attentions) last_hidden_state có hình dạng (batch_size, sequence_length, hidden_size), tùy chọn) là một chuỗi các hidden-states tại đầu ra của lớp cuối cùng của encoder. Được sử dụng trong cross-attention của decoder.
  • labels (torch.LongTensor có shape (batch_size,), tùy chọn) — Nhãn để tính loss cho phân loại/hồi quy chuỗi. Chỉ số phải nằm trong [0, ..., config.num_labels - 1]. Nếu config.num_labels == 1, loss hồi quy sẽ được tính (Mean-Square loss). Nếu config.num_labels > 1, loss phân loại sẽ được tính (Cross-Entropy).

Trả về

SequenceClassifierOutput hoặc tuple(torch.Tensor)

Một SequenceClassifierOutput hoặc một tuple của torch.Tensor (nếu return_dict=False được truyền hoặc khi config.return_dict=False) bao gồm các thành phần khác nhau tùy thuộc vào cấu hình (WhisperConfig) và đầu vào.

Phương thức forward của WhisperForAudioClassification ghi đè lên phương thức đặc biệt __call__.

Mặc dù công thức cho bước truyền tiến cần được định nghĩa bên trong hàm này, người dùng nên gọi instance của Module sau đó thay vì gọi hàm này, vì instance Module sẽ đảm nhận việc thực hiện các bước tiền xử lý và hậu xử lý, trong khi hàm này sẽ lặng lẽ bỏ qua chúng.

  • loss (torch.Tensor có shape (1,), optional, được trả về khi labels được cung cấp) — Loss phân loại (hoặc hồi quy nếu config.num_labels==1).

  • logits (torch.Tensor có hình dạng (batch_size, config.num_labels)) — Điểm phân loại (hoặc hồi quy nếu config.num_labels==1) (trước SoftMax).

  • hidden_states (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_hidden_states=True được truyền vào hoặc khi config.output_hidden_states=True) — Bộ tuple của torch.Tensor (một cho đầu ra của embeddings, nếu mô hình có lớp embedding, + một cho đầu ra của mỗi lớp) có hình dạng (batch_size, sequence_length, hidden_size).

    Trạng thái ẩn của mô hình tại đầu ra của mỗi lớp cùng với các đầu ra embedding ban đầu tùy chọn.

  • attentions (tuple(torch.Tensor), tuỳ chọn, được trả về khi output_attentions=True được truyền vào hoặc khi config.output_attentions=True) — Tuple của torch.Tensor (một cho mỗi lớp) có hình dạng (batch_size, num_heads, sequence_length, sequence_length).

    Trọng số chú ý sau softmax của attention, được sử dụng để tính trung bình có trọng số trong các đầu self-attention.

Ví dụ:

>>> import torch
>>> from transformers import AutoFeatureExtractor, WhisperForAudioClassification
>>> from datasets import load_dataset

>>> feature_extractor = AutoFeatureExtractor.from_pretrained("sanchit-gandhi/whisper-medium-fleurs-lang-id")
>>> model = WhisperForAudioClassification.from_pretrained("sanchit-gandhi/whisper-medium-fleurs-lang-id")

>>> ds = load_dataset("google/fleurs", "all", split="validation", streaming=True)
>>> sample = next(iter(ds))

>>> inputs = feature_extractor(
...     sample["audio"]["array"], sampling_rate=sample["audio"]["sampling_rate"], return_tensors="pt"
... )
>>> input_features = inputs.input_features

>>> with torch.no_grad():
...     logits = model(input_features).logits

>>> predicted_class_ids = torch.argmax(logits).item()
>>> predicted_label = model.config.id2label[predicted_class_ids]
>>> predicted_label
'Afrikaans'
Update on GitHub

←WavLM X-Codec→