# 実行プロセス

分散学習システムを扱う際には、GPU間でプロセスがどのように、いつ実行されるかを管理することが重要です。プロセスによっては完了が早く、他のプロセスがまだ完了していない場合に開始すべきでないものもあります。Accelerateは、すべてのデバイス間で同期が保たれるよう、プロセスの実行タイミングを調整するためのツールを提供します。

このチュートリアルでは、プロセスを単一のマシンでのみ実行する方法と、すべてのプロセスが特定の地点に到達するまで実行を遅延させる方法を学びます。

## 1つのプロセスで実行

特定のコードは、ログ文の出力やローカルメインプロセスでのプログレスバーの表示など、特定のマシンで一度だけ実行される必要があります。

一度だけ実行されるべきコードを示すには、`accelerator.is_local_main_process` を使用してください。

```py
from tqdm.auto import tqdm

progress_bar = tqdm(range(args.max_train_steps), disable=not accelerator.is_local_main_process)
```

ステートメントを`accelerator.is_local_main_process`でラップすることもできます。

> [!TIP]
> `accelerator.is_local_main_process` でラップされていない単体の `print` 文については、`print` を Accelerate の [print()](/docs/accelerate/v1.16.0/ja/package_reference/accelerator#accelerate.Accelerator.print) メソッドに置き換えることで、プロセスごとに1回だけ出力するようにしてください。

```py
if accelerator.is_local_main_process:
    print("Accelerate is the best")
```

一度だけ実行されるべき関数には、[on_local_main_process()](/docs/accelerate/v1.16.0/ja/package_reference/accelerator#accelerate.Accelerator.on_local_main_process)を使用してください。

```py
@accelerator.on_local_main_process
def do_my_thing():
    "Something done once per server"
    do_thing_once_per_server()
```

また、Accelerateに、マシンの数に関係なく、*すべてのプロセス*でコードを一度だけ実行させることもできます。これは、最終モデルをHubにアップロードする場合に便利です。

すべてのプロセス全体で一度だけ実行されるべきコードを示すには、`accelerator.is_main_process` を使用してください。

```py
if accelerator.is_main_process:
    repo.push_to_hub()
```

すべてのプロセス全体で一度だけ実行されるべき関数には、[on_main_process()](/docs/accelerate/v1.16.0/ja/package_reference/accelerator#accelerate.Accelerator.on_main_process)を使用します。

```py
@accelerator.on_main_process
def do_my_thing():
    "Something done once per server"
    do_thing_once()
```

## 特定のプロセスで実行

Accelerateは、特定のプロセスまたはローカルプロセスインデックスでのみ実行されるべき関数の実行もサポートします。

[on_process()](/docs/accelerate/v1.16.0/ja/package_reference/accelerator#accelerate.Accelerator.on_process)メソッドを使用し、関数を実行するプロセスのインデックスを指定します。

```py
@accelerator.on_process(process_index=0)
def do_my_thing():
    "Something done on process index 0"
    do_thing_on_index_zero()
```

[on_local_process()](/docs/accelerate/v1.16.0/ja/package_reference/accelerator#accelerate.Accelerator.on_local_process)メソッドを使用し、関数を実行するローカルプロセスのインデックスを指定します。

```py
@accelerator.on_local_process(local_process_idx=0)
def do_my_thing():
    "Something done on process index 0 on each server"
    do_thing_on_index_zero_on_each_server()
```

## 実行の遅延

スクリプトを複数のGPUで同時に実行すると、一部のコードが他のコードよりも速く実行される場合があります。次の一連の命令を実行する前に、すべてのプロセスが特定の地点に到達するまで待つ必要があるかもしれません。例えば、すべてのプロセスがトレーニングを完了したことを確認する前にモデルを保存すべきではありません。

これを行うには、コードに[wait_for_everyone()](/docs/accelerate/v1.16.0/ja/package_reference/accelerator#accelerate.Accelerator.wait_for_everyone)を追加します。これにより、先に処理を終えたすべてのプロセスが、残りのすべてのプロセスが同じ地点に到達するまで続行をブロックされます（単一のGPUまたはCPUで実行している場合は、この処理は影響しません）。

```py
accelerator.wait_for_everyone()
```

