Accelerate documentation
Amazon SageMaker
Amazon SageMaker
Hugging Face と Amazon は、Amazon SageMaker 上で Hugging Face の Transformer モデルをこれまで以上に簡単にトレーニングできるよう、新しい Hugging Face Deep Learning Containers (DLCs) を導入しました。
はじめる
セットアップとインストール
Amazon SageMaker で Accelerate スクリプトを実行するには、AWS アカウントへの登録が必要です。まだ AWS アカウントをお持ちでない場合は、こちらで詳細をご覧ください。
AWSアカウントを取得した後、Accelerate用のsagemaker SDKを以下でインストールする必要があります。
pip install "accelerate[sagemaker]" --upgradeAccelerate は現在、DLC を使用しており、transformers、datasets、tokenizers がプリインストールされています。Accelerate 自体はまだ DLC に含まれていません(まもなく追加される予定です)。そのため、Amazon SageMaker で Accelerate を使用するには、トレーニングスクリプトが配置されているディレクトリに requirements.txt を作成し、そこに依存関係として追加する必要があります。
acceleraterequirements.txt に、その他の依存関係も追加する必要があります。
Accelerateを設定する
Amazon SageMaker の起動設定は、SageMaker 以外のトレーニングジョブと同様に、Accelerate CLI を使用して設定できます:
accelerate config
# In which compute environment are you running? ([0] This machine, [1] AWS (Amazon SageMaker)): 1Accelerate は、Amazon SageMaker のセットアップに関するアンケートを実施し、編集可能な設定ファイルを作成します。
Accelerate は、あなたの認証情報を保存しません。
Accelerateのファインチューニングスクリプトを準備する
学習スクリプトは、SageMaker 以外で実行する一般的な学習スクリプトと非常に似ていますが、学習後にモデルを保存するには、保存ディレクトリとして/opt/ml/modelを指定するか、os.environ["SM_MODEL_DIR"]を使用する必要があります。学習が完了すると、このディレクトリ内の成果物が S3 にアップロードされます。
- torch.save('/opt/ml/model`)
+ accelerator.save('/opt/ml/model')SageMakerはargparseのアクションをサポートしていません。例えば、ブール型のハイパーパラメータを使用したい場合は、スクリプト内でtypeをboolとして指定し、このハイパーパラメータに対して明示的なTrueまたはFalseの値を指定する必要があります。[REF]。
トレーニングを開始
Accelerate CLI を使用して、以下のようにトレーニングを開始できます。
accelerate launch path_to_script.py --args_to_the_scriptこれにより、設定に基づいてトレーニングスクリプトが起動されます。トレーニングスクリプトに必要なすべての引数を、名前付き引数として指定するだけです。
例
サンプルスクリプトのいずれかを実行する場合は、
accelerator.save('/opt/ml/model')を追加することを忘れないでください。
accelerate launch ./examples/sagemaker_example.py
出力:
Configuring Amazon SageMaker environment
Converting Arguments to Hyperparameters
Creating Estimator
2021-04-08 11:56:50 Starting - Starting the training job...
2021-04-08 11:57:13 Starting - Launching requested ML instancesProfilerReport-1617883008: InProgress
.........
2021-04-08 11:58:54 Starting - Preparing the instances for training.........
2021-04-08 12:00:24 Downloading - Downloading input data
2021-04-08 12:00:24 Training - Downloading the training image..................
2021-04-08 12:03:39 Training - Training image download completed. Training in progress..
........
epoch 0: {'accuracy': 0.7598039215686274, 'f1': 0.8178438661710037}
epoch 1: {'accuracy': 0.8357843137254902, 'f1': 0.882249560632689}
epoch 2: {'accuracy': 0.8406862745098039, 'f1': 0.8869565217391304}
........
2021-04-08 12:05:40 Uploading - Uploading generated training model
2021-04-08 12:05:40 Completed - Training job completed
Training seconds: 331
Billable seconds: 331
You can find your model data at: s3://your-bucket/accelerate-sagemaker-1-2021-04-08-11-56-47-108/output/model.tar.gz高度な機能
分散学習: データ並列
accelerate config を実行して accelerate の設定を行い、SageMaker に関する質問に答えて設定してください。
SageMaker DDP を使用するには、What is the distributed mode? ([0] No distributed training, [1] data parallelism): と問われた際に、それを選択してください。
設定の例を以下に示します。
base_job_name: accelerate-sagemaker-1
compute_environment: AMAZON_SAGEMAKER
distributed_type: DATA_PARALLEL
ec2_instance_type: ml.p3.16xlarge
iam_role_name: xxxxx
image_uri: null
mixed_precision: fp16
num_machines: 1
profile: xxxxx
py_version: py10
pytorch_version: 2.5.0
region: us-east-1
transformers_version: 4.17.0
use_cpu: false分散学習: モデル並列
現在開発中であり、まもなくサポート予定です。
Pythonパッケージと依存関係
Accelerate は現在、DLC を使用しており、transformers、datasets、tokenizers がプリインストールされています。異なる Python パッケージや追加のパッケージを使用する場合は、requirements.txt にそれらを追加してください。これらのパッケージは、トレーニングスクリプトが開始される前にインストールされます。
ローカルトレーニング: SageMaker ローカルモード
SageMaker SDKのローカルモードでは、HuggingFace DLC(Deep Learning container)内、またはカスタムコンテナイメージを使用して、トレーニングスクリプトをローカルで実行できます。これは、最終的なコンテナ環境内でトレーニングスクリプトのデバッグやテストを行う際に便利です。 ローカルモードはDocker composeを使用します(注: Docker Compose V2は現在サポートされていません)。SDKはECRへの認証を処理し、DLCをローカル環境にプルします。CPU(シングルインスタンスおよびマルチインスタンス)とGPU(シングルインスタンス)のSageMakerトレーニングジョブをエミュレートできます。
ローカルモードを使用するには、ec2_instance_typeをlocalに設定する必要があります。
ec2_instance_type: local高度な設定
この設定により、Estimatorのパラメータを上書きできます。
これらの設定は設定ファイルに適用する必要があり、accelerate configの一部ではありません。Spotインスタンスの使用やネットワーク分離の有効化など、トレーニングジョブの多くの追加の側面を制御できます。
additional_args:
# enable network isolation to restrict internet access for containers
enable_network_isolation: True利用可能なすべての設定はこちらで確認できます。
Spotインスタンスを使用する
Spot Instances を使用できます。例えば、高度な設定を参照してください:
additional_args:
use_spot_instances: True
max_wait: 86400注: Spot Instances は終了の対象となり、チェックポイントからトレーニングを再開する必要があります。この処理は Accelerate ではデフォルトでは行われません。この機能をご希望の場合は、お問い合わせください。
リモートスクリプト: Github にあるスクリプトを使用します
この機能が必要かどうかは未定です。この機能をご希望の場合は、お問い合わせください。
Update on GitHub