Hub documentation
Hugging FaceでのPaddleNLPの使用方法
Hugging FaceでのPaddleNLPの使用方法
PaddlePaddleフレームワークを活用したPaddleNLPは、使いやすく強力なNLPライブラリであり、優れた事前学習モデルのコレクションを備え、研究から産業応用まで幅広いNLPタスクをサポートします。
HubにおけるPaddleNLPの探索
モデルページの左側でフィルタリングすることで、PaddleNLPのモデルを見つけることができます。
Hub上のすべてのモデルには、以下の機能が備わっています:
- 検索性を高めるための簡潔な説明とメタデータタグを備えた、自動生成されたモデルカード。
- ブラウザ上でモデルを直接試すことができるインタラクティブなウィジェット。
- 推論リクエストを行うことを可能にするInference Providersウィジェット。
- Spaces上でモデルをGradioアプリとして簡単にデプロイできます。
インストール
まずはじめに、PaddlePaddle Quick Startに従って、お好みのOS、パッケージマネージャー、および計算プラットフォームでPaddlePaddle Frameworkをインストールしてください。
paddlenlpはpipを通じて1行で簡単にインストールできます:
pip install -U paddlenlp既存のモデルを使用する
transformerモデルと同様に、paddlenlpライブラリでは、from_hf_hub=Trueを設定することで、Hugging Face Hubからモデルを1行で読み込むことができます。用途に応じて、Taskflow関数による高レベルAPIを使用するか、より詳細な制御のためにAutoModelとAutoTokenizerを使用するかを選択できます。
# Taskflow provides a simple end-to-end capability and a more optimized experience for inference
from paddlenlp.transformers import Taskflow
taskflow = Taskflow("fill-mask", task_path="PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
# If you want more control, you will need to define the tokenizer and model.
from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)特定のモデルの読み込み方法を確認するには、Use in paddlenlp をクリックしてください。動作するスニペットが表示され、モデルを読み込むことができます。
モデルの共有
PaddleNLPのモデルは、すべてのModelクラスおよびTokenizerクラスの下にあるsave_to_hf_hubメソッドを使用して共有できます。
from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
tokenizer.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")
model.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")追加のリソース
- PaddlePaddleのインストールガイド。
- PaddleNLP GitHubリポジトリ。
- Hugging Face Hub での PaddlePaddle