TRL documentation
Eğitimi Hızlandırma
Eğitimi Hızlandırma
Bu kılavuz, TRL'de eğitimi hızlandırmak için kullanılan çeşitli yöntemleri kapsar. Her teknik, daha kapsamlı belgelere bağlantılar içeren minimal örneklerle sunulur.
Çevrimiçi yöntemlerde hızlı üretim için vLLM
GRPO veya Online DPO gibi çevrimiçi yöntemler, modelin tamamlamalar üretmesini gerektirir; bu genellikle yavaş bir süreçtir ve eğitim süresini önemli ölçüde etkileyebilir. Üretimi hızlandırmak için, PagedAttention gibi özellikler sayesinde hızlı üretim imkânı sunan vLLM kütüphanesini kullanabilirsiniz. TRL’nin çevrimiçi eğitimcileri vLLM’i destekler ve eğitim hızını büyük ölçüde artırır. Daha fazla ayrıntı için bkz. vLLM Entegrasyonu.
vLLM'yi kullanmak için önce aşağıdaki komutla yükleyin:
pip install trl[vllm]
Öncelikle aşağıdaki komutu çalıştırarak bir vLLM sunucusu başlatın:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Ardından, eğitim betiğini çalıştırın ve eğitim argümanlarında use_vllm=True değerini geçirin.
from trl.experimental.online_dpo import OnlineDPOConfig
training_args = OnlineDPOConfig(..., use_vllm=True, vllm_mode="server")Öncelikle aşağıdaki komutu çalıştırarak bir vLLM sunucusu başlatın:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Ardından, eğitim betiğini çalıştırın ve eğitim argümanlarında use_vllm=True değerini geçirin.
from trl import GRPOConfig
training_args = GRPOConfig(..., use_vllm=True, vllm_mode="server")Sunucu yapılandırmasını ek argümanlar geçirerek özelleştirebilirsiniz. Daha fazla bilgi için vLLM entegrasyonu bölümüne bakın.
vLLM kullanırken, kaynak çakışmalarını önlemek için eğitim ve üretim için ayrılmış GPU'ların farklı olduğundan emin olun. Örneğin, eğitim için 4 GPU ve vLLM üretimi için başka 4 GPU kullanmayı planlıyorsanız, GPU tahsisini
CUDA_VISIBLE_DEVICESkullanarak belirleyebilirsiniz.vLLM üretimi için GPU'ları 0-3 olarak ayarlayın:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1Ve eğitim için GPU'lar 4-7:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
Öncelikle aşağıdaki komutu çalıştırarak bir vLLM sunucusu başlatın:
VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \
--weight-transfer-config '{"backend": "nccl"}' \
--logprobs-mode processed_logprobs \
--max-logprobs -1Ardından, eğitim betiğini çalıştırın ve eğitim argümanlarında use_vllm=True değerini geçirin.
from trl import RLOOConfig
training_args = RLOOConfig(..., use_vllm=True, vllm_mode="server")Sunucu yapılandırmasını ek argümanlar geçirerek özelleştirebilirsiniz. Daha fazla bilgi için vLLM entegrasyonu bölümüne bakın.
vLLM kullanırken, kaynak çakışmalarını önlemek için eğitim ve üretim için ayrılmış GPU'ların farklı olduğundan emin olun. Örneğin, eğitim için 4 GPU ve vLLM üretimi için başka 4 GPU kullanmayı planlıyorsanız, GPU tahsisini
CUDA_VISIBLE_DEVICESkullanarak belirleyebilirsiniz.vLLM üretimi için GPU'ları 0-3 olarak ayarlayın:
CUDA_VISIBLE_DEVICES=0,1,2,3 VLLM_SERVER_DEV_MODE=1 vllm serve <model_name> \ --weight-transfer-config '{"backend": "nccl"}' \ --logprobs-mode processed_logprobs \ --max-logprobs -1Ve eğitim için GPU'lar 4-7:
CUDA_VISIBLE_DEVICES=4,5,6,7 torchrun --nproc_per_node 4 train.py
Optimize edilmiş dikkat uygulamaları
TRL, bellek kullanımını azaltırken eğitimi önemli ölçüde hızlandırabilen çeşitli optimize edilmiş dikkat (attention) uygulamalarını destekler. Doğrudan Kernels Hub üzerinden önceden optimize edilmiş çekirdekleri (kernels) veya manuel olarak oluşturulmuş bir dikkat (attention) arka ucunu (backend) kullanabilirsiniz.
Hub'daki önceden optimize edilmiş dikkat çekirdeklerini manuel derleme olmadan kullanabilirsiniz:
from trl import SFTConfig
training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "kernels-community/flash-attn2"})Diğer seçenekler arasında kernels-community/vllm-flash-attn3 ve kernels-community/paged-attention yer alır.
Optimized attention, TRL eğitimcilerinin tümünde çalışır. Daha fazla ayrıntı için Kernels Hub Entegrasyonu bölümüne bakın.
Optimize edilmiş dikkat (attention) arka uçlarını manuel olarak oluşturmak karmaşık ve zaman alıcıdır. Mutlaka gerekli olmadıkça önerilmez. Bunun yerine, önceki bölümde anlatıldığı gibi Hub'dan Kernels kullanmayı düşünün.
Flash Attention 2 gibi optimize edilmiş bir dikkat (attention) arka ucunu manuel olarak yüklediyseniz, bunu eğitim argümanlarında belirtebilirsiniz:
from trl import SFTConfig
training_args = SFTConfig(..., model_init_kwargs={"attn_implementation": "flash_attention_2"})Karışık hassasiyetli eğitim
bf16 veya fp16 kullanılarak karma hassasiyetli eğitim, model kalitesine minimal etki yaparak eğitimi hızlandırabilir ve bellek kullanımını azaltabilir.
from trl import SFTConfig
training_args = SFTConfig(..., bf16=True) # or fp16=True for older GPUsAmpere GPU'lar (A100, RTX 30xx) veya daha yeni GPU'lar için bf16=True, daha eski GPU'lar için ise fp16=True kullanın. Karmaşıklık hassasiyetli eğitim, tüm TRL eğitimcilerinde desteklenmektedir.