TRL documentation

Tutoriais da Comunidade

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Tutoriais da Comunidade

Os tutoriais da comunidade são criados por membros ativos da comunidade do Hugging Face que desejam compartilhar seu conhecimento e experiência com outros. Eles são uma ótima maneira de aprender sobre a biblioteca e seus recursos, e de começar a trabalhar com as classes e modalidades principais.

Modelos de Linguagem

Tutoriais

TarefaClasseDescriçãoAutorTutorialColab
Aprendizado por ReforçoGRPOTrainerTreinamento online eficiente com GRPO e vLLM no TRLSergio PaniegoLinkOpen In Colab
Aprendizado por ReforçoGRPOTrainerTreinamento pós-LLM para raciocínio com GRPO no TRLSergio PaniegoLinkOpen In Colab
Aprendizado por ReforçoGRPOTrainerMini-R1: Reproduza o “momento aha” do Deepseek R1, um tutorial de RLPhilipp SchmidLinkOpen In Colab
Aprendizado por ReforçoGRPOTrainerRL no LLaMA 3.1-8B com GRPO e otimizações do UnslothAndrea ManzoniLinkOpen In Colab
Ajuste de instruçõesSFTTrainerAjuste fino de LLMs Google Gemma usando o formato ChatML com QLoRAPhilipp SchmidLinkOpen In Colab
Geração EstruturadaSFTTrainerFine-tuning do Llama-2-7B para gerar catálogos de produtos em persa em JSON usando QLoRA e PEFTMohammadreza EsmaeilianLinkOpen In Colab
Otimização de PreferênciaDPOTrainerAlinhe o Mistral-7b usando Direct Preference Optimization para alinhamento às preferências humanasMaxime LabonneLinkOpen In Colab
Otimização de Preferênciaexperimental.orpo.ORPOTrainerAjuste fino do Llama 3 com ORPO combinando ajuste de instruções e alinhamento de preferênciasMaxime LabonneLinkOpen In Colab
Ajuste de instruçõesSFTTrainerComo fazer o ajuste fino de LLMs abertos em 2025 com Hugging FacePhilipp SchmidLinkOpen In Colab
Raciocínio em nível de etapaGRPOTrainerAprendizado por Reforço Supervisionado (SRL) para raciocínio passo a passo com vLLMDeepak SwaminathanLinkOpen In Colab

Vídeos

TarefaTítuloAutorVídeo
Ajuste de instruçõesAjuste fino de modelos de IA abertos usando Hugging Face TRLWietse Venema
Ajuste de instruçõesComo fazer o fine-tuning de um smol-LM com Hugging Face, TRL e o Dataset smoltalkMayurji
⚠️ Deprecated features notice for "How to fine-tune a smol-LM with Hugging Face, TRL, and the smoltalk Dataset" (click to expand)

O tutorial utiliza dois recursos obsoletos:

  • SFTTrainer(..., tokenizer=tokenizer): Use SFTTrainer(..., processing_class=tokenizer) em vez disso, ou simplesmente omita (será inferido a partir do modelo).
  • setup_chat_format(model, tokenizer): Use SFTConfig(..., chat_template_path="Qwen/Qwen3-0.6B"), em que chat_template_path especifica o modelo cujo template de chat você deseja copiar.

Modelos de Visão e Linguagem

Tutoriais

TarefaClasseDescriçãoAutorTutorialColab
QA visualSFTTrainerFine-tuning do Qwen2-VL-7B para visual question answering no dataset ChartQASergio PaniegoLinkOpen In Colab
QA visualSFTTrainerFine-tuning do SmolVLM com TRL em uma GPU de consumoSergio PaniegoLinkOpen In Colab
Descrição de SEOSFTTrainerAjuste fino do Qwen2-VL-7B para gerar descrições amigáveis para SEO a partir de imagensPhilipp SchmidLinkOpen In Colab
QA visualDPOTrainerPaliGemma 🤝 Direct Preference OptimizationMerve NoyanLinkOpen In Colab
QA visualDPOTrainerFine-tuning do SmolVLM usando otimização de preferência direta (DPO) com TRL em uma GPU de consumoSergio PaniegoLinkOpen In Colab
Detecção de Objetos com AncoragemSFTTrainerAjuste fino de um VLM para Localização de Objetos usando TRLSergio PaniegoLinkOpen In Colab
QA visualDPOTrainerAjuste fino de um modelo de linguagem visual com TRL usando MPOSergio PaniegoLinkOpen In Colab
Aprendizado por ReforçoGRPOTrainerTreinamento pós-um VLM para raciocínio com GRPO usando TRLSergio PaniegoLinkOpen In Colab

Modelos de linguagem de fala

Tutoriais

TarefaClasseDescriçãoAutorTutorial
Texto para FalaGRPOTrainerTreinamento pós-treino de um modelo de linguagem de fala com GRPO usando TRLSteven ZhengLink

Contribuindo

Se você tem um tutorial que gostaria de adicionar a esta lista, abra um PR para incluí-lo. Faremos a revisão e o mesclaremos se for relevante para a comunidade.

Update on GitHub