Usando Stable-Baselines3 no Hugging Face

stable-baselines3 é um conjunto de implementações confiáveis de algoritmos de aprendizado por reforço em PyTorch.

Explorando o Stable-Baselines3 no Hub

Você pode encontrar modelos do Stable-Baselines3 filtrando à esquerda na página de modelos.

Todos os modelos no Hub vêm com recursos úteis:

1. Um cartão de modelo gerado automaticamente com uma descrição, uma configuração de treinamento e mais.
2. Tags de metadados que auxiliam na descoberta.
3. Resultados de avaliação para comparação com outros modelos.
4. Um widget de vídeo onde você pode assistir seu agente em ação.

Instale a biblioteca

Para instalar a biblioteca stable-baselines3, você precisa instalar dois pacotes:

• stable-baselines3: biblioteca Stable-Baselines3.
• huggingface-sb3: código adicional para carregar e enviar modelos Stable-baselines3 do Hub.

pip install stable-baselines3
pip install huggingface-sb3

Usando modelos existentes

Você pode simplesmente baixar um modelo do Hub usando a função load_from_hub

checkpoint = load_from_hub(
    repo_id="sb3/demo-hf-CartPole-v1",
    filename="ppo-CartPole-v1.zip",
)

Você precisa definir dois parâmetros:

• --repo-id: o nome do repositório do Hugging Face que você deseja baixar.
• --filename: o arquivo que você deseja baixar.

Compartilhando seus modelos

Você pode enviar seus modelos facilmente usando duas funções diferentes:

1. package_to_hub(): salva o modelo, avalia-o, gera um cartão de modelo e grava um vídeo de replay do seu agente antes de enviar o repositório completo para o Hub.

package_to_hub(model=model, 
               model_name="ppo-LunarLander-v2",
               model_architecture="PPO",
               env_id=env_id,
               eval_env=eval_env,
               repo_id="ThomasSimonini/ppo-LunarLander-v2",
               commit_message="Test commit")

Você precisa definir sete parâmetros:

• --model: seu modelo treinado.
• --model_architecture: nome da arquitetura do seu modelo (DQN, PPO, A2C, SAC…).
• --env_id: nome do ambiente.
• --eval_env: ambiente usado para avaliar o agente.
• --repo-id: o nome do repositório do Hugging Face que você deseja criar ou atualizar. Ele é <your huggingface username>/<the repo name>.
• --commit-message.
• --filename: o arquivo que você deseja enviar para o Hub.

2. push_to_hub(): simplesmente envie um arquivo para o Hub

push_to_hub(
    repo_id="ThomasSimonini/ppo-LunarLander-v2",
    filename="ppo-LunarLander-v2.zip",
    commit_message="Added LunarLander-v2 model trained with PPO",
)

Você precisa definir três parâmetros:

• --repo-id: o nome do repositório do Hugging Face que você deseja criar ou atualizar. Ele é <your huggingface username>/<the repo name>.
• --filename: o arquivo que você deseja enviar para o Hub.
• --commit-message.

Recursos adicionais

• Documentação do Hugging Face Stable-Baselines3 documentation
• Documentação do Stable-Baselines3 documentation