TRL documentation
トレーニングの分散
トレーニングの分散
TRLによるマルチGPUトレーニング
TRLのトレーナーは、PyTorchの分散ランチャーであるtorchrunで起動されます。GPUごとに1つのプロセスが開始されます:
torchrun --nproc_per_node 8 train.py <SCRIPT_ARGS>
trl CLIも内部では同じ処理を行うため、trl sft ...はマシンのすべてのGPUで実行されます。使用するGPU数を減らすには、--nproc_per_nodeを指定してください。
内部では、🤗 AccelerateはGPUごとに1つのモデルを作成します。各プロセスは:
- 独自のデータバッチを処理します
- そのバッチの損失と勾配を計算します
- すべてのGPU間で勾配の更新を共有します

実効バッチサイズは次のように計算されます:
複数のGPUにスケーリングする際にバッチサイズを一定に保つには、per_device_train_batch_sizeとgradient_accumulation_stepsを適切に更新してください。
例として、これらの設定は同等であり、同じ結果を生成する必要があります。
| GPUの数 | デバイスごとのバッチサイズ | 勾配蓄積ステップ | コメント |
|---|---|---|---|
| 1 | 32 | 1 | メモリ使用量は高くなる可能性がありますが、トレーニングは高速です |
| 1 | 4 | 8 | メモリ使用量は低くなりますが、トレーニングは遅くなります |
| 8 | 4 | 1 | マルチGPUで両方の利点を最大限に活用 |
GPUごとに1つのモデルを配置するとメモリ使用量が高くなるため、大規模モデルやメモリが少ないGPUでは実行できない場合があります。そのような場合は、モデルシャーディング、Zero Redundancy Optimizer、混合精度学習、CPUまたはNVMeへのオフロードなどの最適化を提供するDeepSpeedを活用できます。詳細については、DeepSpeed Integrationガイドを参照してください。
非常に長いシーケンスでの学習については、専用のガイドがあります: 100万トークン超の学習。
マルチノードトレーニング
単一のマシンに十分なGPUがない場合、torchrunは複数のマシン(ノード)にまたがってトレーニングをスケーリングできます。各ノードは、ノードの総数、自身のランク、およびメインノード上のrendezvousエンドポイントを含む同じコマンドを実行します。
オプション1: 手動での起動(非HPC)
各ノードで手動で以下を実行します:
# Node 0 (main node, IP 10.0.0.1)
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 0 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py
# Node 1
torchrun --nnodes 2 --nproc_per_node 8 --node_rank 1 --rdzv_backend c10d --rdzv_endpoint 10.0.0.1:29500 train.py
10.0.0.1を、ランク 0(メイン)ノードの実際の IP アドレスに置き換えてください。
オプション2: SLURM による起動 (HPC クラスタ)
SLURMジョブスケジューラーを使用するクラスターでは、ジョブスクリプト(例: slurm_job.sh)を作成します。
#!/bin/bash
#SBATCH --nodes=2
#SBATCH --gpus-per-node=8
#SBATCH --job-name=trl_multi
MAIN_NODE=$(scontrol show hostnames $SLURM_JOB_NODELIST | head -n 1)
srun torchrun --nnodes 2 --nproc_per_node 8 --node_rank $SLURM_NODEID --rdzv_backend c10d --rdzv_endpoint $MAIN_NODE:29500 train.py次に、ジョブを送信します:
sbatch slurm_job.sh
srunはノードごとに1つのtorchrunを起動し、それぞれがGPUごとに1つのプロセスを起動します。
SLURMの主要なディレクティブ:
--nodes=2: 2つのコンピュートノードを要求します--gpus-per-node=8: ノードごとに8つのGPUを割り当てます(合計16個)--job-name: ジョブキューでの追跡用のラベル
トレーニング設定でdeepspeedを設定することで、マルチノードとDeepSpeedを組み合わせることができます。DeepSpeed統合ガイドを参照してください。
さらに詳しく
- torchrun(Elastic Launch)
- SLURM Workload Manager ドキュメント - クラスタのジョブスケジューリング用