TRL documentation
Tutoriais da Comunidade
Primeiros passos
Guias conceituais
Trainers
Guias de como fazer
Interface de Linha de Comando (CLI)Treinamento usando JobsPersonalizando o TreinamentoReduzindo o uso de memóriaAcelerando o TreinamentoDistribuindo o TreinamentoTreinamento no AWS TrainiumTreinamento em GPUs AMDTreinamento além de 1M de tokensUsando modelos treinados
Integrações
Exemplos
API
Experimental
Tutoriais da Comunidade
Os tutoriais da comunidade são criados por membros ativos da comunidade do Hugging Face que desejam compartilhar seu conhecimento e experiência com outros. Eles são uma ótima maneira de aprender sobre a biblioteca e seus recursos, e de começar a trabalhar com as classes e modalidades principais.
Modelos de Linguagem
Tutoriais
| Tarefa | Classe | Descrição | Autor | Tutorial | Colab |
|---|---|---|---|---|---|
| Aprendizado por Reforço | GRPOTrainer | Treinamento online eficiente com GRPO e vLLM no TRL | Sergio Paniego | Link | |
| Aprendizado por Reforço | GRPOTrainer | Treinamento pós-LLM para raciocínio com GRPO no TRL | Sergio Paniego | Link | |
| Aprendizado por Reforço | GRPOTrainer | Mini-R1: Reproduza o “momento aha” do Deepseek R1, um tutorial de RL | Philipp Schmid | Link | |
| Aprendizado por Reforço | GRPOTrainer | RL no LLaMA 3.1-8B com GRPO e otimizações do Unsloth | Andrea Manzoni | Link | |
| Ajuste de instruções | SFTTrainer | Ajuste fino de LLMs Google Gemma usando o formato ChatML com QLoRA | Philipp Schmid | Link | |
| Geração Estruturada | SFTTrainer | Fine-tuning do Llama-2-7B para gerar catálogos de produtos em persa em JSON usando QLoRA e PEFT | Mohammadreza Esmaeilian | Link | |
| Otimização de Preferência | DPOTrainer | Alinhe o Mistral-7b usando Direct Preference Optimization para alinhamento às preferências humanas | Maxime Labonne | Link | |
| Otimização de Preferência | experimental.orpo.ORPOTrainer | Ajuste fino do Llama 3 com ORPO combinando ajuste de instruções e alinhamento de preferências | Maxime Labonne | Link | |
| Ajuste de instruções | SFTTrainer | Como fazer o ajuste fino de LLMs abertos em 2025 com Hugging Face | Philipp Schmid | Link | |
| Raciocínio em nível de etapa | GRPOTrainer | Aprendizado por Reforço Supervisionado (SRL) para raciocínio passo a passo com vLLM | Deepak Swaminathan | Link |
Vídeos
| Tarefa | Título | Autor | Vídeo |
|---|---|---|---|
| Ajuste de instruções | Ajuste fino de modelos de IA abertos usando Hugging Face TRL | Wietse Venema | ![]() |
| Ajuste de instruções | Como fazer o fine-tuning de um smol-LM com Hugging Face, TRL e o Dataset smoltalk | Mayurji | ![]() |
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)
O tutorial utiliza dois recursos obsoletos:
SFTTrainer(..., tokenizer=tokenizer): UseSFTTrainer(..., processing_class=tokenizer)em vez disso, ou simplesmente omita (será inferido a partir do modelo).setup_chat_format(model, tokenizer): UseSFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), em quechat_template_pathespecifica o modelo cujo template de chat você deseja copiar.
Modelos de Visão e Linguagem
Tutoriais
| Tarefa | Classe | Descrição | Autor | Tutorial | Colab |
|---|---|---|---|---|---|
| QA visual | SFTTrainer | Fine-tuning do Qwen2-VL-7B para visual question answering no dataset ChartQA | Sergio Paniego | Link | |
| QA visual | SFTTrainer | Fine-tuning do SmolVLM com TRL em uma GPU de consumo | Sergio Paniego | Link | |
| Descrição de SEO | SFTTrainer | Ajuste fino do Qwen2-VL-7B para gerar descrições amigáveis para SEO a partir de imagens | Philipp Schmid | Link | |
| QA visual | DPOTrainer | PaliGemma 🤝 Direct Preference Optimization | Merve Noyan | Link | |
| QA visual | DPOTrainer | Fine-tuning do SmolVLM usando otimização de preferência direta (DPO) com TRL em uma GPU de consumo | Sergio Paniego | Link | |
| Detecção de Objetos com Ancoragem | SFTTrainer | Ajuste fino de um VLM para Localização de Objetos usando TRL | Sergio Paniego | Link | |
| QA visual | DPOTrainer | Ajuste fino de um modelo de linguagem visual com TRL usando MPO | Sergio Paniego | Link | |
| Aprendizado por Reforço | GRPOTrainer | Treinamento pós-um VLM para raciocínio com GRPO usando TRL | Sergio Paniego | Link |
Modelos de linguagem de fala
Tutoriais
| Tarefa | Classe | Descrição | Autor | Tutorial |
|---|---|---|---|---|
| Texto para Fala | GRPOTrainer | Treinamento pós-treino de um modelo de linguagem de fala com GRPO usando TRL | Steven Zheng | Link |
Contribuindo
Se você tem um tutorial que gostaria de adicionar a esta lista, abra um PR para incluí-lo. Faremos a revisão e o mesclaremos se for relevante para a comunidade.
Update on GitHub
