Accelerate documentation

実験トラッカー

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

実験トラッカー

GeneralTracker

class accelerate.tracking.GeneralTracker

< >

( _blank = False )

すべてのログ統合実装で使用するベースとなるTrackerクラス。

各関数は、Acceleratorに渡されるベース辞書から自動的に渡される**kwargsを受け取る必要があります。

name、requires_logging_directory、trackerのプロパティを実装し、以下を満たすようにしてください:

name (str): “TensorBoard” などの、トラッカークラス名の文字列表現。 requires_logging_directory (bool): ロガーがログを保存するディレクトリを必要とするかどうか。 tracker (object): トラッカークラスが使用する内部のトラッキング機構(wandb の run など)を返す必要があります。

実装には、main_process_only (bool) 属性を含めることもでき、関連するログ出力、初期化、その他の関数をメインプロセスでのみ実行するか、すべてのプロセスで実行するかを切り替えます(デフォルトではTrueが使用されます)。

finish

< >

( )

トラッキングAPI内の最終処理関数を実行する必要があります。APIにそのような関数がない場合は、そのメソッドをオーバーライドしないでください。

log

< >

( values: dictstep: int | None = None**kwargs )

パラメータ

  • values (辞書、str から str、float、または int へ) — キーと値のペアとして記録する値。値の型は str、float、または int である必要があります。
  • step (int, 任意) — 実行ステップです。指定された場合、ログはこのステップに紐付けられます。

現在のランにvaluesをログ出力します。トラッキングAPIのベースとなるlog実装はここに配置し、`step`パラメータに対する特別な動作もここで処理します。

開始

< >

( )

InitProcessGroupKwargsの前にPartialStateを初期化しないように、Accelerator内のトラッカーの遅延初期化を実装しました。

store_init_configuration

< >

( values: dict )

パラメータ

  • values (辞書、str から bool、str、float または int へ) — キーと値のペアとして初期ハイパーパラメータとして保存される値。値の型は bool、 str、float、int、または None である必要があります。

実行のハイパーパラメータとしてvaluesをログに記録します。実装では、トラッキングAPIの実験設定機能を使用する必要があります。

register_tracker_class

accelerate.tracking.register_tracker_class

< >

( tracker_class: type[accelerate.tracking.GeneralTracker] )

パラメータ

  • tracker_class(GeneralTracker のサブクラス)— 登録するトラッカークラスです。GeneralTracker を継承し、空でない name クラス属性と requires_logging_directory クラス属性を定義する必要があります。このクラスは、Accelerator.init_trackers() に渡された project_name を最初の位置引数としてインスタンス化されます。requires_logging_directory が True の場合、ログディレクトリが第2の位置引数として渡されます(組み込みトラッカーの慣例に準拠)。init_kwargs からのトラッカー固有のキーワード引数は、**kwargs として転送されます。

GeneralTrackerのサブクラスを登録し、Acceleratorのlog_with引数で、組み込みのトラッカーと同様にnameを指定して参照できるようにします。

Accelerator をインスタンス化する前に、トラッカーを登録しておく必要があります。

例:

from accelerate import Accelerator
from accelerate.tracking import GeneralTracker, register_tracker_class


class MyTracker(GeneralTracker):
    name = "my_tracker"
    requires_logging_directory = False
    # ... implement the rest of the `GeneralTracker` interface


register_tracker_class(MyTracker)
accelerator = Accelerator(log_with="my_tracker")

TensorBoardTracker

クラス accelerate.tracking.TensorBoardTracker

< >

( run_name: strlogging_dir: str | os.PathLike**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前
  • logging_dir (str, os.PathLike) — TensorBoardログを保存する場所。
  • **kwargs (追加のキーワード引数、任意) — tensorboard.SummaryWriter.__init__ メソッドに渡される追加のキーワード引数です。

tensorboardをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: strlogging_dir: str | os.PathLike**kwargs )

WandBTracker

class accelerate.tracking.WandBTracker

< >

( run_name: str**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前。
  • **kwargs (追加のキーワード引数、任意) — wandb.init メソッドに渡される追加のキーワード引数です。

wandbをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: str**kwargs )

Trackio

クラス accelerate.tracking.TrackioTracker

< >

( run_name: str**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前です。trackio をインスタンス化する際に project 名として使用されます。
  • **kwargs (追加のキーワード引数、任意) — trackio.init メソッドに渡される追加のキーワード引数です。サポートされているすべてのキーワード引数については、この init を参照してください。

trackioをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: str**kwargs )

CometMLTracker

class accelerate.tracking.CometMLTracker

< >

( run_name: str**kwargs )

パラメータ

comet_mlをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

APIキーはCometの設定ファイルに保存する必要があります。

注: comet_mlのバージョンが3.41.0未満の場合、追加のキーワード引数は代わりにcomet_ml.Experimentに渡されます: https://www.comet.com/docs/v2/api-and-sdk/python-sdk/reference/Experiment/#comet_ml.Experiment.__init__

__init__

< >

( run_name: str**kwargs )

AimTracker

class accelerate.tracking.AimTracker

< >

( run_name: strlogging_dir: str | os.PathLike | None = '.'**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前。
  • **kwargs (追加のキーワード引数、任意) — Run.__init__ メソッドに渡される追加のキーワード引数です。

aimをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: strlogging_dir: str | os.PathLike | None = '.'**kwargs )

MLflowTracker

class accelerate.tracking.MLflowTracker

< >

( experiment_name: str | None = Nonelogging_dir: str | os.PathLike | None = Nonerun_id: str | None = Nonetags: dict[str, typing.Any] | str | None = Nonenested_run: bool | None = Falserun_name: str | None = Nonedescription: str | None = None )

パラメータ

  • experiment_name (str, 任意) — 実験の名前です。環境変数 MLFLOW_EXPERIMENT_NAME がこの引数よりも優先されます。
  • logging_dir (str または os.PathLike、デフォルトは ".") — mlflow のログを保存する場所。
  • run_id (str, 任意) — 指定された場合、指定された UUID を持つ run を取得し、その run 配下にパラメータとメトリクスを記録します。run の終了時刻は未設定となり、ステータスは running に設定されますが、run のその他の属性(source_version、source_type など)は変更されません。環境変数 MLFLOW_RUN_ID はこの引数よりも優先されます。
  • tags (Dict[str, str], 省略可) — ランにタグとして設定するための、str のキーと値を持つ任意の dict、または dict からの str ダンプです。ランの再開が行われる場合、これらのタグは再開されたランに設定されます。新しいランが作成される場合、これらのタグは新しいランに設定されます。環境変数 MLFLOW_TAGS は、この引数よりも優先されます。
  • nested_run (bool、省略可能、デフォルトはFalse) — run が親 run にネストされるかどうかを制御します。True を指定すると、ネストされた run が作成されます。環境変数 MLFLOW_NESTED_RUN は、この引数よりも優先されます。
  • run_name (str, オプション) — 新しいランの名前 (mlflow.runName タグとして保存されます)。run_id が指定されていない場合のみ使用されます。
  • description (str, 省略可能) — 実行の説明ボックスに設定する任意の文字列です。実行を再開する場合、再開された実行に説明が設定されます。新しい実行を作成する場合、新しい実行に説明が設定されます。

mlflowをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( experiment_name: str | None = Nonelogging_dir: str | os.PathLike | None = Nonerun_id: str | None = Nonetags: dict[str, typing.Any] | str | None = Nonenested_run: bool | None = Falserun_name: str | None = Nonedescription: str | None = None )

ClearMLTracker

class accelerate.tracking.ClearMLTracker

< >

( run_name: str | None = None**kwargs )

パラメータ

  • run_name (str, オプション) — 実験の名前です。環境変数 CLEARML_PROJECT および CLEARML_TASK は、この引数よりも優先されます。
  • **kwargs (追加のキーワード引数、任意) — Task.__init__ メソッドに渡されるKwargs。

clearmlをサポートするTrackerクラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: str | None = None**kwargs )

SwanLabTracker

class accelerate.tracking.SwanLabTracker

< >

( run_name: str**kwargs )

パラメータ

  • run_name (str) — 実験ランの名前。
  • **kwargs (追加のキーワード引数、任意) — swanlab.init メソッドに渡される追加のキーワード引数です。

swanlab をサポートする Tracker クラスです。スクリプトの開始時に初期化してください。

__init__

< >

( run_name: str**kwargs )

Update on GitHub