Accelerate documentation
実行プロセス
実行プロセス
分散学習システムを扱う際には、GPU間でプロセスがどのように、いつ実行されるかを管理することが重要です。プロセスによっては完了が早く、他のプロセスがまだ完了していない場合に開始すべきでないものもあります。Accelerateは、すべてのデバイス間で同期が保たれるよう、プロセスの実行タイミングを調整するためのツールを提供します。
このチュートリアルでは、プロセスを単一のマシンでのみ実行する方法と、すべてのプロセスが特定の地点に到達するまで実行を遅延させる方法を学びます。
1つのプロセスで実行
特定のコードは、ログ文の出力やローカルメインプロセスでのプログレスバーの表示など、特定のマシンで一度だけ実行される必要があります。
一度だけ実行されるべきコードを示すには、accelerator.is_local_main_process を使用してください。
from tqdm.auto import tqdm
progress_bar = tqdm(range(args.max_train_steps), disable=not accelerator.is_local_main_process)ステートメントをaccelerator.is_local_main_processでラップすることもできます。
accelerator.is_local_main_processでラップされていない単体の
if accelerator.is_local_main_process:
print("Accelerate is the best")一度だけ実行されるべき関数には、on_local_main_process()を使用してください。
@accelerator.on_local_main_process
def do_my_thing():
"Something done once per server"
do_thing_once_per_server()また、Accelerateに、マシンの数に関係なく、すべてのプロセスでコードを一度だけ実行させることもできます。これは、最終モデルをHubにアップロードする場合に便利です。
すべてのプロセス全体で一度だけ実行されるべきコードを示すには、accelerator.is_main_process を使用してください。
if accelerator.is_main_process:
repo.push_to_hub()すべてのプロセス全体で一度だけ実行されるべき関数には、on_main_process()を使用します。
@accelerator.on_main_process
def do_my_thing():
"Something done once per server"
do_thing_once()特定のプロセスで実行
Accelerateは、特定のプロセスまたはローカルプロセスインデックスでのみ実行されるべき関数の実行もサポートします。
on_process()メソッドを使用し、関数を実行するプロセスのインデックスを指定します。
@accelerator.on_process(process_index=0)
def do_my_thing():
"Something done on process index 0"
do_thing_on_index_zero()on_local_process()メソッドを使用し、関数を実行するローカルプロセスのインデックスを指定します。
@accelerator.on_local_process(local_process_idx=0)
def do_my_thing():
"Something done on process index 0 on each server"
do_thing_on_index_zero_on_each_server()実行の遅延
スクリプトを複数のGPUで同時に実行すると、一部のコードが他のコードよりも速く実行される場合があります。次の一連の命令を実行する前に、すべてのプロセスが特定の地点に到達するまで待つ必要があるかもしれません。例えば、すべてのプロセスがトレーニングを完了したことを確認する前にモデルを保存すべきではありません。
これを行うには、コードにwait_for_everyone()を追加します。これにより、先に処理を終えたすべてのプロセスが、残りのすべてのプロセスが同じ地点に到達するまで続行をブロックされます(単一のGPUまたはCPUで実行している場合は、この処理は影響しません)。
accelerator.wait_for_everyone()