TRL documentation

Eğitimi Hızlandırma

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Eğitimi Hızlandırma

Bu kılavuz, TRL'de eğitimi hızlandırmak için kullanılan çeşitli yöntemleri kapsar. Her teknik, daha kapsamlı belgelere bağlantılar içeren minimal örneklerle sunulur.

Çevrimiçi yöntemlerde hızlı üretim için vLLM

GRPO veya Online DPO gibi çevrimiçi yöntemler, modelin tamamlamalar üretmesini gerektirir; bu genellikle yavaş bir süreçtir ve eğitim süresini önemli ölçüde etkileyebilir. Üretimi hızlandırmak için, PagedAttention gibi özellikler sayesinde hızlı üretim imkânı sunan vLLM kütüphanesini kullanabilirsiniz. TRL’nin çevrimiçi eğitimcileri vLLM’i destekler ve eğitim hızını büyük ölçüde artırır. Daha fazla ayrıntı için bkz. vLLM Entegrasyonu.

vLLM'yi kullanmak için önce aşağıdaki komutla yükleyin:

pip install trl[vllm]
Çevrimiçi DPO
GRPO
RLOO

Öncelikle aşağıdaki komutu çalıştırarak bir vLLM sunucusu başlatın:

VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
    --weight-transfer-config '{"backend": "nccl"}' \
    --logprobs-mode processed_logprobs \
    --max-logprobs -1

Ardından, eğitim betiğini çalıştırın ve eğitim argümanlarında use_vllm=True değerini geçirin.

from trl.experimental.online_dpo import OnlineDPOConfig

training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")

Optimize edilmiş dikkat uygulamaları

TRL, bellek kullanımını azaltırken eğitimi önemli ölçüde hızlandırabilen çeşitli optimize edilmiş dikkat (attention) uygulamalarını destekler. Doğrudan Kernels Hub üzerinden önceden optimize edilmiş çekirdekleri (kernels) veya manuel olarak oluşturulmuş bir dikkat (attention) arka ucunu (backend) kullanabilirsiniz.

Hub'dan Çekirdekler
Manuel derleme

Hub'daki önceden optimize edilmiş dikkat çekirdeklerini manuel derleme olmadan kullanabilirsiniz:

from trl import SFTConfig

training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})

Diğer seçenekler arasında kernels-community/vllm-flash-attn3 ve kernels-community/paged-attention yer alır.

Optimized attention, TRL eğitimcilerinin tümünde çalışır. Daha fazla ayrıntı için Kernels Hub Entegrasyonu bölümüne bakın.

Karışık hassasiyetli eğitim

bf16 veya fp16 kullanılarak karma hassasiyetli eğitim, model kalitesine minimal etki yaparak eğitimi hızlandırabilir ve bellek kullanımını azaltabilir.

from trl import SFTConfig

training_args = SFTConfig(..., bf16=True)  # or fp16=True for older GPUs

Ampere GPU'lar (A100, RTX 30xx) veya daha yeni GPU'lar için bf16=True, daha eski GPU'lar için ise fp16=True kullanın. Karmaşıklık hassasiyetli eğitim, tüm TRL eğitimcilerinde desteklenmektedir.

Update on GitHub