Использование PaddleNLP на Hugging Face

Опираясь на фреймворк PaddlePaddle, PaddleNLP представляет собой простую в использовании и мощную библиотеку для обработки естественного языка с обширным набором предобученных моделей, поддерживающую широкий спектр задач NLP — от научных исследований до промышленных приложений.

Исследование PaddleNLP в Hub

Модели PaddleNLP можно найти, используя фильтр слева на странице моделей.

Все модели на Hub поставляются со следующими возможностями:

1. Автоматически сгенерированная карточка модели с кратким описанием и метаданными в виде тегов, которые помогают в поиске.
2. Интерактивный виджет, с помощью которого можно взаимодействовать с моделью непосредственно в браузере.

3. Виджет Inference Providers, позволяющий отправлять запросы на инференс.

4. Легко разверните вашу модель как приложение Gradio на Spaces.

Установка

Для начала вы можете воспользоваться PaddlePaddle Quick Start, чтобы установить фреймворк PaddlePaddle на вашей операционной системе, с помощью выбранного вами менеджера пакетов и вычислительной платформы.

paddlenlp предлагает быструю установку в одну строку через pip:

pip install -U paddlenlp

Использование существующих моделей

Аналогично моделям transformer, библиотека paddlenlp предоставляет простую однострочную команду для загрузки моделей из Hugging Face Hub, если установить from_hf_hub=True! В зависимости от того, как вы хотите их использовать, вы можете воспользоваться высокоуровневым API с помощью функции Taskflow или использовать AutoModel и AutoTokenizer для более точного контроля.

# Taskflow provides a simple end-to-end capability and a more optimized experience for inference
from paddlenlp.transformers import Taskflow
taskflow = Taskflow("fill-mask", task_path="PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

# If you want more control, you will need to define the tokenizer and model.
from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM
tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

Если вы хотите узнать, как загрузить конкретную модель, нажмите Use in paddlenlp — вам будет предоставлен рабочий фрагмент кода для её загрузки!

Обмен моделями

Вы можете делиться своими моделями PaddleNLP, используя метод save_to_hf_hub, доступный во всех классах Model и Tokenizer.

from paddlenlp.transformers import AutoTokenizer, AutoModelForMaskedLM

tokenizer = AutoTokenizer.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)
model = AutoModelForMaskedLM.from_pretrained("PaddlePaddle/ernie-1.0-base-zh", from_hf_hub=True)

tokenizer.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")
model.save_to_hf_hub(repo_id="<my_org_name>/<my_repo_name>")

Дополнительные ресурсы

• Руководство по установке PaddlePaddle guide.
• PaddleNLP Репозиторий на GitHub.
• PaddlePaddle в Hugging Face Hub