Hugging FaceでのESPnetの使用

espnetは、自動音声認識、テキスト読み上げ、音声強調、ディラリゼーションなどのタスクを含む、音声処理のためのエンドツーエンドのツールキットです。

HubにおけるESPnetの探索

モデルページの左側でフィルタリングすることで、espnetのモデルを数百件見つけることができます。

Hub上のすべてのモデルには、便利な機能が備わっています:

1. 説明、学習設定、ライセンスなどを含む、自動生成されたモデルカード。
2. 検索可能性を高め、ライセンス、言語、データセットなどの情報を含むメタデータタグ。
3. ブラウザ上でモデルを直接試すことができるインタラクティブなウィジェット。
4. 推論リクエストを行うことを可能にするInference Providersウィジェット。

既存のモデルを使用する

事前学習済みモデルの読み込みに関する完全なガイドについては、公式ガイドをご参照ください。

推論を実行したい場合、タスクごとに異なるクラスが用意されており、それぞれにfrom_pretrainedメソッドがあります。このメソッドを使用すると、Hubからモデルを読み込むことができます。例:

• Speech2Textによる自動音声認識。
• テキスト読み上げ用のText2Speech。
• 音声ソース分離用のSeparateSpeech。

以下は推論の例です：

import soundfile
from espnet2.bin.tts_inference import Text2Speech

text2speech = Text2Speech.from_pretrained("model_name")
speech = text2speech("foobar")["wav"]
soundfile.write("out.wav", speech.numpy(), text2speech.fs, "PCM_16")

特定のモデルの読み込み方法を確認するには、Use in ESPnet をクリックしてください。動作するスニペットが表示され、モデルを読み込むことができます。

モデルの共有

ESPnet は、Hugging Face に簡単にアップロードできる zip ファイルを出力します。モデルの共有に関する完全なガイドについては、公式ガイド を参照することをお勧めします。

run.sh スクリプトは、指定されたモデルを Hugging Face リポジトリにアップロードできます。

./run.sh --stage 15 --skip_upload_hf false --hf_repo username/model_repo

追加のリソース

• ESPnetのドキュメント。
• ESPnetモデルズーのリポジトリ。
• 統合ドキュメント。