Accelerate documentation

Accelerateスクリプトの起動

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Accelerateスクリプトの起動

前のチュートリアルでは、現在のトレーニングスクリプトを修正してAccelerateを使用する方法について説明しました。 そのコードの最終版は以下の通りです:

from accelerate import Accelerator

accelerator = Accelerator()

model, optimizer, training_dataloader, scheduler = accelerator.prepare(
    model, optimizer, training_dataloader, scheduler
)

for batch in training_dataloader:
    optimizer.zero_grad()
    inputs, targets = batch
    outputs = model(inputs)
    loss = loss_function(outputs, targets)
    accelerator.backward(loss)
    optimizer.step()
    scheduler.step()

では、このコードを実行し、利用可能な特殊なハードウェアを活用するにはどうすればよいでしょうか?

まず、上記のコードを関数に書き換え、スクリプトとして呼び出せるようにしてください。例えば:

  from accelerate import Accelerator
  
+ def main():
      accelerator = Accelerator()

      model, optimizer, training_dataloader, scheduler = accelerator.prepare(
          model, optimizer, training_dataloader, scheduler
      )

      for batch in training_dataloader:
          optimizer.zero_grad()
          inputs, targets = batch
          outputs = model(inputs)
          loss = loss_function(outputs, targets)
          accelerator.backward(loss)
          optimizer.step()
          scheduler.step()

+ if __name__ == "__main__":
+     main()

次に、accelerate launchで起動する必要があります。

accelerate launch を使用する前に、accelerate config を実行して、環境を好みに合わせて設定することをお勧めします。 そうしないと、Accelerate はシステム構成に応じて非常に基本的なデフォルト値を使用します。

accelerate launch を使用して

Accelerateには、accelerate launchを通じてシステム上でコードを起動するのを支援する特別なCLIコマンドがあります。 このコマンドは、スクリプトをさまざまなプラットフォームで起動するために必要なさまざまなコマンドをラップします。そのため、それぞれのコマンドを覚える必要はありません。

torchrun などの PyTorch によるスクリプトの起動方法に精通している場合は、引き続きその方法を使用できます。accelerate launch を使用することは必須ではありません。

次のコマンドを使用して、スクリプトをすばやく起動できます。

accelerate launch {script_name.py} --arg1 --arg2 ...

コマンドの先頭にaccelerate launchを付け、その後にスクリプト用の追加の引数やパラメータを通常通り渡すだけです!

これは各種のtorch spawnメソッドを実行するため、想定されるすべての環境変数もここで変更できます。 例えば、accelerate launchを単一のGPUで使用する場合は次のようになります。

# for cuda device:
CUDA_VISIBLE_DEVICES="0" accelerate launch {script_name.py} --arg1 --arg2 ...
# for xpu device:
ZE_AFFINITY_MASK="0" accelerate launch {script_name.py} --arg1 --arg2 ...

You can also use accelerate launch without performing accelerate config first, but you may need to manually pass in the right configuration parameters. In this case, Accelerate will make some hyperparameter decisions for you, e.g., if GPUs are available, it will use all of them by default without the mixed precision. Here is how you would use all GPUs and train with mixed precision disabled:

accelerate launch --multi_gpu {script_name.py} {--arg1} {--arg2} ...

使用するGPUの数を指定することによっても可能です:

accelerate launch --num_processes=2 {script_name.py} {--arg1} {--arg2} ...

より具体的にするには、必要なパラメータを自分で渡す必要があります。例えば、同じスクリプトを2つのGPU上で、混合精度を使用して、かつすべての警告を回避しながら起動するには、次のようにします。

accelerate launch --multi_gpu --mixed_precision=fp16 --num_processes=2 {script_name.py} {--arg1} {--arg2} ...

渡すことができるパラメータの完全なリストを確認するには、次のコマンドを実行します:

accelerate launch -h

コードでAccelerateを使用していない場合でも、スクリプトの起動にランチャーを使用できます!

この違いを視覚的に示すために、マルチGPU環境で先ほど実行したaccelerate launchは、torchrunを使用した場合、次のようになります。

MIXED_PRECISION="fp16" torchrun --nproc_per_node=2 --nnodes=1 {script_name.py} {--arg1} {--arg2} ...

launch CLIをPythonモジュールとして直接使用することで、スクリプトを起動し、Python固有の起動動作を渡すこともできます。その場合は、accelerate launchの代わりにaccelerate.commands.launchを使用します:

python -m accelerate.commands.launch --num_processes=2 {script_name.py} {--arg1} {--arg2}

スクリプトを他のPythonフラグ付きで実行したい場合は、-mと同様にそれらも渡すことができます。例えば、以下では標準出力と標準エラー出力のバッファリングを無効化しています。

python -u -m accelerate.commands.launch --num_processes=2 {script_name.py} {--arg1} {--arg2}

コードはCPUでも実行できます! これは、トイモデルやデータセットでのデバッグやテストに役立ちます。

accelerate launch --cpu {script_name.py} {--arg1} {--arg2}

accelerate config を常に使用すべき理由

なぜaccelerate configを常に実行すべきほど有用なのでしょうか?

さきほど呼び出したaccelerate launchとtorchrunを思い出してください。 設定が完了したら、必要な部分を含むそのスクリプトを実行するには、accelerate launchをそのまま使用すればよく、他の引数を渡す必要はありません。

accelerate launch {script_name.py} {--arg1} {--arg2} ...

カスタム設定

前述した通り、accelerate launch は、accelerate config コマンドで作成した設定を組み合わせることで使用するのが基本です。これらの設定は、Accelerate のキャッシュフォルダ内の default_config.yaml ファイルに保存されます。 このキャッシュフォルダは、優先度の高い順に以下の場所にあります:

  • 環境変数HF_HOMEの内容にaccelerateを接尾辞として付加したものです。
  • 存在しない場合は、環境変数XDG_CACHE_HOMEの内容にhuggingface/accelerateを接尾辞として付加したパスになります。
  • これもし存在しない場合は、フォルダ~/.cache/huggingface/accelerate。

複数の設定を使用するには、accelerate launch コマンドに、カスタム yaml の場所と組み合わせて --config_file フラグを渡すことができます。

1台のマシンで2つのGPUを使用し、混合精度にfp16を用いる場合のyamlの例は、次のようになります。

compute_environment: LOCAL_MACHINE
deepspeed_config: {}
distributed_type: MULTI_GPU
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false

そのカスタム yaml ファイルの場所からスクリプトを起動するには、次のようにします。

accelerate launch --config_file {path/to/config/my_config_file.yaml} {script_name.py} {--arg1} {--arg2} ...

マルチノード学習

Accelerateによるマルチノードトレーニングは、torchrunによるマルチノードトレーニングと似ています。マルチノードトレーニングを開始する最も簡単な方法は、次のようにすることです。

  • コードベースとデータをすべてのノードにコピーします(または共有ファイルシステムに配置します)。
  • すべてのノードでPythonパッケージを設定します。
  • まず、メインの単一ノードでaccelerate configを実行します。ノード数を指定した後、各ノードのランク(メイン/マスターノードの場合は0)と、メインプロセスのIPアドレスおよびポートを指定するように求められます。これは、ワーカーノードがメインプロセスと通信するために必要です。その後、この設定ファイルをすべてのノードにコピーまたは送信し、machine_rankを1、2、3...と変更することで、コマンドを実行し直す必要をなくせます(あるいは、torchrunでの起動に関する指示に従うこともできます)。

これを実行した後、すべてのノードでaccelerate launch(またはtorchrun)を実行することで、マルチノードのトレーニングを開始できます。

It is required that the command be run on all nodes for everything to start, not just running it from the main node. You can use something like SLURM or a different process executor to wrap around this requirement and call everything from a single command.

レイテンシを改善するため、メインノードの公開IPではなく、イントラネットIPの使用を推奨します。これは、メインノード上でhostname -Iを実行した際に確認できる192.168.x.xまたは172.x.x.xのアドレスです。

マルチノードトレーニングについてより詳しく知るには、FSDPによるマルチノードトレーニングの例をご覧ください。

Update on GitHub