Accelerate documentation

Amazon SageMaker

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Amazon SageMaker

Hugging Face と Amazon は、Amazon SageMaker 上で Hugging Face の Transformer モデルをこれまで以上に簡単にトレーニングできるよう、新しい Hugging Face Deep Learning Containers (DLCs) を導入しました。

はじめる

セットアップとインストール

Amazon SageMaker で Accelerate スクリプトを実行するには、AWS アカウントへの登録が必要です。まだ AWS アカウントをお持ちでない場合は、こちらで詳細をご覧ください。

AWSアカウントを取得した後、Accelerate用のsagemaker SDKを以下でインストールする必要があります。

pip install "accelerate[sagemaker]" --upgrade

Accelerate は現在、DLC を使用しており、transformers、datasets、tokenizers がプリインストールされています。Accelerate 自体はまだ DLC に含まれていません(まもなく追加される予定です)。そのため、Amazon SageMaker で Accelerate を使用するには、トレーニングスクリプトが配置されているディレクトリに requirements.txt を作成し、そこに依存関係として追加する必要があります。

accelerate

requirements.txt に、その他の依存関係も追加する必要があります。

Accelerateを設定する

Amazon SageMaker の起動設定は、SageMaker 以外のトレーニングジョブと同様に、Accelerate CLI を使用して設定できます:

accelerate config
# In which compute environment are you running? ([0] This machine, [1] AWS (Amazon SageMaker)): 1

Accelerate は、Amazon SageMaker のセットアップに関するアンケートを実施し、編集可能な設定ファイルを作成します。

Accelerate は、あなたの認証情報を保存しません。

Accelerateのファインチューニングスクリプトを準備する

学習スクリプトは、SageMaker 以外で実行する一般的な学習スクリプトと非常に似ていますが、学習後にモデルを保存するには、保存ディレクトリとして/opt/ml/modelを指定するか、os.environ["SM_MODEL_DIR"]を使用する必要があります。学習が完了すると、このディレクトリ内の成果物が S3 にアップロードされます。

- torch.save('/opt/ml/model`)
+ accelerator.save('/opt/ml/model')

SageMakerはargparseのアクションをサポートしていません。例えば、ブール型のハイパーパラメータを使用したい場合は、スクリプト内でtypeをboolとして指定し、このハイパーパラメータに対して明示的なTrueまたはFalseの値を指定する必要があります。[REF]。

トレーニングを開始

Accelerate CLI を使用して、以下のようにトレーニングを開始できます。

accelerate launch path_to_script.py --args_to_the_script

これにより、設定に基づいてトレーニングスクリプトが起動されます。トレーニングスクリプトに必要なすべての引数を、名前付き引数として指定するだけです。

例

サンプルスクリプトのいずれかを実行する場合は、accelerator.save('/opt/ml/model') を追加することを忘れないでください。

accelerate launch ./examples/sagemaker_example.py

出力:

Configuring Amazon SageMaker environment
Converting Arguments to Hyperparameters
Creating Estimator
2021-04-08 11:56:50 Starting - Starting the training job...
2021-04-08 11:57:13 Starting - Launching requested ML instancesProfilerReport-1617883008: InProgress
.........
2021-04-08 11:58:54 Starting - Preparing the instances for training.........
2021-04-08 12:00:24 Downloading - Downloading input data
2021-04-08 12:00:24 Training - Downloading the training image..................
2021-04-08 12:03:39 Training - Training image download completed. Training in progress..
........
epoch 0: {'accuracy': 0.7598039215686274, 'f1': 0.8178438661710037}
epoch 1: {'accuracy': 0.8357843137254902, 'f1': 0.882249560632689}
epoch 2: {'accuracy': 0.8406862745098039, 'f1': 0.8869565217391304}
........
2021-04-08 12:05:40 Uploading - Uploading generated training model
2021-04-08 12:05:40 Completed - Training job completed
Training seconds: 331
Billable seconds: 331
You can find your model data at: s3://your-bucket/accelerate-sagemaker-1-2021-04-08-11-56-47-108/output/model.tar.gz

高度な機能

分散学習: データ並列

accelerate config を実行して accelerate の設定を行い、SageMaker に関する質問に答えて設定してください。 SageMaker DDP を使用するには、What is the distributed mode? ([0] No distributed training, [1] data parallelism): と問われた際に、それを選択してください。 設定の例を以下に示します。

base_job_name: accelerate-sagemaker-1
compute_environment: AMAZON_SAGEMAKER
distributed_type: DATA_PARALLEL
ec2_instance_type: ml.p3.16xlarge
iam_role_name: xxxxx
image_uri: null
mixed_precision: fp16
num_machines: 1
profile: xxxxx
py_version: py10
pytorch_version: 2.5.0
region: us-east-1
transformers_version: 4.17.0
use_cpu: false

分散学習: モデル並列

現在開発中であり、まもなくサポート予定です。

Pythonパッケージと依存関係

Accelerate は現在、DLC を使用しており、transformers、datasets、tokenizers がプリインストールされています。異なる Python パッケージや追加のパッケージを使用する場合は、requirements.txt にそれらを追加してください。これらのパッケージは、トレーニングスクリプトが開始される前にインストールされます。

ローカルトレーニング: SageMaker ローカルモード

SageMaker SDKのローカルモードでは、HuggingFace DLC(Deep Learning container)内、またはカスタムコンテナイメージを使用して、トレーニングスクリプトをローカルで実行できます。これは、最終的なコンテナ環境内でトレーニングスクリプトのデバッグやテストを行う際に便利です。 ローカルモードはDocker composeを使用します(注: Docker Compose V2は現在サポートされていません)。SDKはECRへの認証を処理し、DLCをローカル環境にプルします。CPU(シングルインスタンスおよびマルチインスタンス)とGPU(シングルインスタンス)のSageMakerトレーニングジョブをエミュレートできます。

ローカルモードを使用するには、ec2_instance_typeをlocalに設定する必要があります。

ec2_instance_type: local

高度な設定

この設定により、Estimatorのパラメータを上書きできます。 これらの設定は設定ファイルに適用する必要があり、accelerate configの一部ではありません。Spotインスタンスの使用やネットワーク分離の有効化など、トレーニングジョブの多くの追加の側面を制御できます。

additional_args:
  # enable network isolation to restrict internet access for containers
  enable_network_isolation: True

利用可能なすべての設定はこちらで確認できます。

Spotインスタンスを使用する

Spot Instances を使用できます。例えば、高度な設定を参照してください:

additional_args:
  use_spot_instances: True
  max_wait: 86400

注: Spot Instances は終了の対象となり、チェックポイントからトレーニングを再開する必要があります。この処理は Accelerate ではデフォルトでは行われません。この機能をご希望の場合は、お問い合わせください。

リモートスクリプト: Github にあるスクリプトを使用します

この機能が必要かどうかは未定です。この機能をご希望の場合は、お問い合わせください。

Update on GitHub