Accelerate documentation

実行プロセス

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

実行プロセス

分散学習システムを扱う際には、GPU間でプロセスがどのように、いつ実行されるかを管理することが重要です。プロセスによっては完了が早く、他のプロセスがまだ完了していない場合に開始すべきでないものもあります。Accelerateは、すべてのデバイス間で同期が保たれるよう、プロセスの実行タイミングを調整するためのツールを提供します。

このチュートリアルでは、プロセスを単一のマシンでのみ実行する方法と、すべてのプロセスが特定の地点に到達するまで実行を遅延させる方法を学びます。

1つのプロセスで実行

特定のコードは、ログ文の出力やローカルメインプロセスでのプログレスバーの表示など、特定のマシンで一度だけ実行される必要があります。

ステートメント
関数

一度だけ実行されるべきコードを示すには、accelerator.is_local_main_process を使用してください。

from tqdm.auto import tqdm

progress_bar = tqdm(range(args.max_train_steps), disable=not accelerator.is_local_main_process)

ステートメントをaccelerator.is_local_main_processでラップすることもできます。

accelerator.is_local_main_process でラップされていない単体の print 文については、print を Accelerate の print() メソッドに置き換えることで、プロセスごとに1回だけ出力するようにしてください。

if accelerator.is_local_main_process:
    print("Accelerate is the best")

また、Accelerateに、マシンの数に関係なく、すべてのプロセスでコードを一度だけ実行させることもできます。これは、最終モデルをHubにアップロードする場合に便利です。

ステートメント
関数

すべてのプロセス全体で一度だけ実行されるべきコードを示すには、accelerator.is_main_process を使用してください。

if accelerator.is_main_process:
    repo.push_to_hub()

特定のプロセスで実行

Accelerateは、特定のプロセスまたはローカルプロセスインデックスでのみ実行されるべき関数の実行もサポートします。

特定のプロセス
ローカルプロセス

on_process()メソッドを使用し、関数を実行するプロセスのインデックスを指定します。

@accelerator.on_process(process_index=0)
def do_my_thing():
    "Something done on process index 0"
    do_thing_on_index_zero()

実行の遅延

スクリプトを複数のGPUで同時に実行すると、一部のコードが他のコードよりも速く実行される場合があります。次の一連の命令を実行する前に、すべてのプロセスが特定の地点に到達するまで待つ必要があるかもしれません。例えば、すべてのプロセスがトレーニングを完了したことを確認する前にモデルを保存すべきではありません。

これを行うには、コードにwait_for_everyone()を追加します。これにより、先に処理を終えたすべてのプロセスが、残りのすべてのプロセスが同じ地点に到達するまで続行をブロックされます(単一のGPUまたはCPUで実行している場合は、この処理は影響しません)。

accelerator.wait_for_everyone()
Update on GitHub