TRL documentation

학습 커스터마이징

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

학습 커스터마이징

TRL은 모듈성을 고려하여 설계되어 사용자가 필요에 따라 학습 루프를 효율적으로 커스터마이징할 수 있습니다. 아래는 다양한 기법을 적용하고 테스트하는 방법에 대한 예시입니다.

이 예시들은 DPOTrainer를 사용하지만, 이러한 커스터마이징 방법은 TRL의 대부분의 트레이너(아마도 모든 트레이너)에 적용됩니다.

다른 옵티마이저와 스케줄러 사용

기본적으로 DPOTrainer는 torch.optim.AdamW 옵티마이저를 생성합니다. 다른 옵티마이저를 생성하고 정의한 후, 다음과 같이 DPOTrainer에 전달할 수 있습니다:

from datasets import load_dataset
from torch import optim
from transformers import AutoModelForCausalLM
from trl import DPOTrainer

dataset = load_dataset("trl-lib/ultrafeedback_binarized", split="train")
model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct")
optimizer = optim.SGD(model.parameters(), lr=1e-6)

trainer = DPOTrainer(
    model=model,
    train_dataset=dataset,
    optimizers=(optimizer, None),
)
trainer.train()

학습률 스케줄러 추가

optimizer와 scheduler를 모두 전달하여 학습률 스케줄러를 추가할 수도 있습니다:

from torch import optim

optimizer = optim.AdamW(model.parameters(), lr=1e-6)
lr_scheduler = optim.lr_scheduler.StepLR(optimizer, step_size=30, gamma=0.1)

trainer = DPOTrainer(..., optimizers=(optimizer, lr_scheduler))

8-bit 참조 모델

trl은 transformers에서 from_pretrained를 사용하여 모델을 로드할 때 모든 키워드 인수를 지원하므로, 더 메모리 효율적인 파인튜닝을 위해 transformers의 load_in_8bit도 활용할 수 있습니다.

transformers의 8bit 또는 4bit로 로드에서 8-bit 모델 로딩에 대해 자세히 알아보세요.

from transformers import AutoModelForCausalLM, BitsAndBytesConfig

quantization_config = BitsAndBytesConfig(load_in_8bit=True)
ref_model = AutoModelForCausalLM.from_pretrained("Qwen/Qwen2.5-0.5B-Instruct", quantization_config=quantization_config)

trainer = DPOTrainer(..., ref_model=ref_model)

커스텀 콜백 추가

콜백을 추가하여 로깅, 모니터링 또는 조기 정지를 위한 학습 루프를 사용자 정의할 수 있습니다. 콜백을 사용하면 학습 중 특정 시점에 사용자 정의 코드를 실행할 수 있습니다.

from transformers import TrainerCallback


class CustomLoggingCallback(TrainerCallback):
    def on_log(self, args, state, control, logs=None, **kwargs):
        if logs is not None:
            print(f"Step {state.global_step}: {logs}")


trainer = DPOTrainer(..., callbacks=[CustomLoggingCallback()])

사용자 정의 평가 지표 추가

학습 중에 추적할 사용자 정의 평가 메트릭을 정의할 수 있습니다. 이는 특정 작업에서 모델 성능을 모니터링하는 데 유용합니다.

def compute_metrics(eval_preds):
    logits, labels = eval_preds
    # Add your metric computation here
    return {"custom_metric": 0.0}


training_args = DPOConfig(..., eval_strategy="steps", eval_steps=100)

trainer = DPOTrainer(..., eval_dataset=eval_dataset, compute_metrics=compute_metrics)

혼합 정밀도 학습 사용

Mixed precision training은 학습 속도를 크게 높이고 메모리 사용량을 줄일 수 있습니다. 학습 설정에서 bf16=True 또는 fp16=True를 설정하여 활성화할 수 있습니다.

# Use bfloat16 precision (recommended for modern GPUs)
training_args = DPOConfig(..., bf16=True)

참고: Ampere GPU(A100, RTX 30xx) 또는 그 이후의 GPU에는 bf16=True를, 이전 GPU에는 fp16=True를 사용하세요.

그라디언트 축적 사용

GPU 메모리가 제한적인 환경에서 학습할 때, 그라디언트 축적을 사용하면 가중치를 업데이트하기 전에 여러 단계에 걸쳐 그라디언트를 축적하여 더 큰 배치 크기를 시뮬레이션할 수 있습니다.

# Simulate a batch size of 32 with per_device_train_batch_size=4 and gradient_accumulation_steps=8
training_args = DPOConfig(
    ...,
    per_device_train_batch_size=4,
    gradient_accumulation_steps=8,
)

학습 목표 변경

Trainer를 서브클래스로 만드는 것이 학습을 커스터마이즈하는 가장 간단한 방법입니다. 손실은 compute_loss 메서드에서 정의되므로, 다른 목적 함수로 학습하려면 Trainer를 서브클래스로 만들고 해당 메서드를 오버라이드하면 됩니다. 데이터 준비, 생성, 로깅, 체크포인트링은 상속되므로 서브클래스에는 실제로 변경되는 부분만 포함됩니다.

import torch

from trl import DPOTrainer
from trl.trainer.utils import selective_log_softmax


class MyDPOTrainer(DPOTrainer):
    def compute_loss(self, model, inputs, return_outputs=False, num_items_in_batch=None):
        # In this example: the hinge loss from https://huggingface.co/papers/2309.06657
        input_ids, attention_mask = inputs["input_ids"], inputs["attention_mask"]
        shift_labels, shift_completion_mask = input_ids[:, 1:], inputs["completion_mask"][:, 1:]
        logits = model(input_ids=input_ids, attention_mask=attention_mask).logits
        with torch.no_grad():
            ref_logits = self.ref_model(input_ids=input_ids, attention_mask=attention_mask).logits

        # Sum the log-probs over the completion tokens, for the policy and for the reference model
        logps = (selective_log_softmax(logits[:, :-1], shift_labels) * shift_completion_mask).sum(dim=1)
        ref_logps = (selective_log_softmax(ref_logits[:, :-1], shift_labels) * shift_completion_mask).sum(dim=1)

        chosen_logps, rejected_logps = logps.chunk(2, dim=0)  # batch is [chosen, rejected]
        ref_chosen_logps, ref_rejected_logps = ref_logps.chunk(2, dim=0)
        delta = (chosen_logps - ref_chosen_logps) - (rejected_logps - ref_rejected_logps)
        return torch.relu(1 - self.beta * delta).mean()

config에 매개변수 추가

손실에 필요한 매개변수를 선언하기 위해 config를 서브클래스화하세요:

from dataclasses import dataclass, field

from trl import DPOConfig


@dataclass
class MyDPOConfig(DPOConfig):
    my_coef: float = field(default=0.1, metadata={"help": "Coefficient of the custom term."})

배치 형식 변경

손실이 기본 collator가 생성하지 않는 입력을 필요로 하는 경우, 사용자 정의 collator를 전달하고 _prepare_dataset를 오버라이드하여 데이터셋이 이미 예상된 형식인 경우 그대로 두도록 하세요:

class MyDPOTrainer(DPOTrainer):
    def _prepare_dataset(self, dataset, *args, **kwargs):
        return dataset


trainer = MyDPOTrainer(..., data_collator=my_collator)

완전한 예제

Block-diffusion SFT 예제 examples/sft_diffusion_gemma/sft_diffusion_gemma.py는 이 세 가지를 결합합니다. DiffusionGemmaSFTConfig는 SFTConfig를 확장하여 canvas 및 corruption 매개변수를 추가하고, DiffusionGemmaSFTTrainer는 SFTTrainer를 확장하여 자기회귀 교차 엔트로피를 block-diffusion denoising 목적 함수로 대체합니다. 둘 다 라이브러리의 변경을 요구하지 않습니다.

Antidoom은 Liquid AI의 오픈소스 도구로, 추론 모델의 반복 루프를 줄이는 단일 토큰 위치 기반 선호 손실인 Final Token Preference Optimization(Antislop)을 통해 DPOTrainer를 확장합니다.

Update on GitHub