Accelerate documentation
DeepSpeed
DeepSpeed
DeepSpeed, ZeRO makalesinde anlatılan her şeyi uygular. Öne çıkan bazı optimizasyonlar şunlardır:
- Optimizatör durumu bölme (ZeRO aşama 1)
- Gradyan bölme (ZeRO aşama 2)
- Parametre bölme (ZeRO 3. aşama)
- Özel karma hassasiyet eğitim işleme
- Hızlı CUDA eklentisi tabanlı bir dizi optimizör
- ZeRO-Offload ile CPU ve Disk/NVMe'ye aktarma
- Model parametrelerinin hiyerarşik bölünmesi (ZeRO++)
ZeRO-Offload'ın kendi özel makalesi vardır: ZeRO-Offload: Democratizing Billion-Scale Model Training. NVMe desteği ise ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning makalesinde açıklanmıştır.
DeepSpeed ZeRO-2, özellikleri çıkarım için işe yaramadığından, yalnızca eğitim için kullanılır.
DeepSpeed ZeRO-3, dev modellerin tek bir GPU’da mümkün olmayan şekilde birden fazla GPU’da yüklenebilmesini sağladığı için çıkarım (inference) için de kullanılabilir.
Accelerate, DeepSpeed entegrasyonunu 2 seçenek üzerinden sağlar:
accelerate configiçindedeepspeed config filebelirtimi yoluyla DeepSpeed özelliklerinin entegrasyonu. Sadece özel config dosyanızı sağlayın veya şablonumuzu kullanın. Bu belgenin büyük bölümü bu özelliğe odaklanmıştır. Bu, DeepSpeed'in tüm temel özelliklerini destekler ve kullanıcıya çok esneklik sağlar. Kullanıcı, config'e bağlı olarak birkaç satır kodu değiştirmek zorunda kalabilir.deepspeed_pluginüzerinden entegrasyon. Bu, DeepSpeed özelliklerinin bir alt kümesini destekler ve kalan yapılandırmalar için varsayılan seçenekleri kullanır. Kullanıcının herhangi bir kod değişikliği yapmasına gerek yoktur ve DeepSpeed'in çoğu varsayılan ayarıyla sorun yaşamayanlar için uygundur.
Hangi bileşenler entegre edildi?
Eğitim:
- Accelerate, DeepSpeed ZeRO'nün tüm özelliklerini entegre eder. Bu, ZeRO 1, 2 ve 3 aşamalarının yanı sıra ZeRO-Offload, ZeRO-Infinity (disk/NVMe'ye ofload edebilir) ve ZeRO++'ı da içerir.
Aşağıda, ZeRO - Zero Redundancy Optimizer kullanılarak Veri Paralelliğinin kısa bir açıklaması ve bu blog yazısından alınan bir şema yer almaktadır.

(Kaynak: bağlantı)
a. 1. Aşama : Optimizer durumlarını veri paralel işçileri/GPU'lar arasında parçalara ayırır
b. Stage 2 : Optimizer durumlarını + gradyanları veri paralel işçileri/GPU'lar arasında parçalar
c. Stage 3: Optimizer durumları + gradyanlar + model parametreleri, veri paralel işçileri/GPU'lar arasında parçalanır
d. Optimizer Offload: Gradyanları + optimizör durumlarını CPU/Disk'e taşır, ZERO Stage 2'nin üzerine inşa edilir
e. Parametre Taşıma (Param Offload): Model parametrelerini CPU/Disk'e taşır ve bunu ZERO Stage 3 üzerine inşa eder
f. Hierarşik Bölme: Düğümler arasında veri paralel eğitim ve düğüm içinde ZeRO-3 bölme ile verimli çok düğümlü eğitimi sağlar; ZeRO Stage 3 üzerine inşa edilmiştir.
Note: With respect to Disk Offload, the disk should be an NVME for decent speed but it technically works on any DiskÇıkarım:
- DeepSpeed ZeRO Inference, ZeRO-Infinity ile ZeRO 3. aşamayı destekler. Eğitimle aynı ZeRO protokolünü kullanır ancak bir optimizer ve lr scheduler kullanmaz ve yalnızca 3. aşama geçerlidir. Daha fazla ayrıntı için bkz: ZeRO Inference.
Nasıl çalışır?
Ön Gereksinimler: DeepSpeed sürümünün >=0.6.5 olduğundan emin olun. Daha fazla bilgi için DeepSpeed Kurulum ayrıntıları bölümüne bakın.
Önce accelerate config ile kolay kullanımlı entegrasyona bakacağız.
Ardından daha esnek ve özellik açısından zengin deepspeed config file entegrasyonu gelecek.
Accelerate DeepSpeed Eklentisi
Makinenizde (makinenizlerde) şunu çalıştırmanız yeterlidir:
accelerate config
ve sorulan soruları yanıtlayın. DeepSpeed için bir yapılandırma dosyası kullanmak isteyip istemediğinizi soracaktır; buna hayır yanıtını verin. Ardından temel bir DeepSpeed yapılandırması oluşturmak için aşağıdaki soruları yanıtlayın. Bu, varsayılan seçenekleri doğru şekilde ayarlamak için otomatik olarak kullanılacak bir yapılandırma dosyası oluşturur
accelerate launch my_script.py --args_to_my_script
Örneğin, DeepSpeed Plugin ile examples/nlp_example.py (deponun kökünden) NLP örneğini nasıl çalıştıracağınız aşağıdaki gibidir:
ZeRO Stage-2 DeepSpeed Eklenti Örneği
compute_environment: LOCAL_MACHINE
deepspeed_config:
gradient_accumulation_steps: 1
gradient_clipping: 1.0
offload_optimizer_device: none
offload_param_device: none
zero3_init_flag: true
zero_stage: 2
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: falseaccelerate launch examples/nlp_example.py --mixed_precision fp16
CPU Offload ile ZeRO Stage-3 DeepSpeed Eklentisi Örneği
compute_environment: LOCAL_MACHINE
deepspeed_config:
gradient_accumulation_steps: 1
gradient_clipping: 1.0
offload_optimizer_device: cpu
offload_param_device: cpu
zero3_init_flag: true
zero3_save_16bit_model: true
zero_stage: 3
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: falseaccelerate launch examples/nlp_example.py --mixed_precision fp16
Şu anda Accelerate, CLI üzerinden aşağıdaki yapılandırmayı destekler:
`zero_stage`: [0] Disabled, [1] optimizer state partitioning, [2] optimizer+gradient state partitioning and [3] optimizer+gradient+parameter partitioning
`gradient_accumulation_steps`: Number of training steps to accumulate gradients before averaging and applying them.
`gradient_clipping`: Enable gradient clipping with value.
`offload_optimizer_device`: [none] Disable optimizer offloading, [cpu] offload optimizer to CPU, [nvme] offload optimizer to NVMe SSD. Only applicable with ZeRO >= Stage-2.
`offload_optimizer_nvme_path`: Decides Nvme Path to offload optimizer states. If unspecified, will default to 'none'.
`offload_param_device`: [none] Disable parameter offloading, [cpu] offload parameters to CPU, [nvme] offload parameters to NVMe SSD. Only applicable with ZeRO Stage-3.
`offload_param_nvme_path`: Decides Nvme Path to offload parameters. If unspecified, will default to 'none'.
`zero3_init_flag`: Decides whether to enable `deepspeed.zero.Init` for constructing massive models. Only applicable with ZeRO Stage-3.
`zero3_save_16bit_model`: Decides whether to save 16-bit model weights when using ZeRO Stage-3.
`mixed_precision`: `no` for FP32 training, `fp16` for FP16 mixed-precision training and `bf16` for BF16 mixed-precision training.
`deepspeed_moe_layer_cls_names`: Comma-separated list of transformer Mixture-of-Experts (MoE) layer class names (case-sensitive) to wrap ,e.g, `MixtralSparseMoeBlock`, `Qwen2MoeSparseMoeBlock`, `JetMoEAttention,JetMoEBlock` ...
`deepspeed_hostfile`: DeepSpeed hostfile for configuring multi-node compute resources.
`deepspeed_exclusion_filter`: DeepSpeed exclusion filter string when using mutli-node setup.
`deepspeed_inclusion_filter`: DeepSpeed inclusion filter string when using mutli-node setup.
`deepspeed_multinode_launcher`: DeepSpeed multi-node launcher to use, e.g. `pdsh`, `standard`, `openmpi`, `mvapich`, `mpich`, `slurm`, `nossh` (requires DeepSpeed >= 0.14.5). If unspecified, will default to `pdsh`.
`deepspeed_config_file`: path to the DeepSpeed config file in `json` format. See the next section for more details on this.Daha fazla seçeneği ayarlayabilmek için bir DeepSpeed yapılandırma dosyası kullanmanız gerekir.
DeepSpeed Yapılandırma Dosyası
Makinenizde (makinenizlerde) şunu çalıştırmanız yeterlidir:
accelerate config
ve sorulan soruları yanıtlayın. DeepSpeed için bir yapılandırma dosyası kullanmak isteyip istemediğinizi soracaktır; buna evet yanıtını verin ve DeepSpeed yapılandırma dosyasının yolunu belirtin. Bu, varsayılan seçeneklerin doğru şekilde ayarlanmasını sağlamak için otomatik olarak kullanılacak bir yapılandırma dosyası oluşturur
accelerate launch my_script.py --args_to_my_script
Örneğin, DeepSpeed Config File ile NLP örneği examples/by_feature/deepspeed_with_config_support.py'yi (deponun kökünden) şu şekilde çalıştırırsınız:
ZeRO Stage-2 DeepSpeed Yapılandırma Dosyası Örneği
compute_environment: LOCAL_MACHINE
deepspeed_config:
deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage2_config.json
zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: falseiçeriği zero_stage2_config.json olan:
{
"fp16": {
"enabled": true,
"loss_scale": 0,
"loss_scale_window": 1000,
"initial_scale_power": 16,
"hysteresis": 2,
"min_loss_scale": 1
},
"optimizer": {
"type": "AdamW",
"params": {
"lr": "auto",
"weight_decay": "auto",
"torch_adam": true,
"adam_w_mode": true
}
},
"scheduler": {
"type": "WarmupDecayLR",
"params": {
"warmup_min_lr": "auto",
"warmup_max_lr": "auto",
"warmup_num_steps": "auto",
"total_num_steps": "auto"
}
},
"zero_optimization": {
"stage": 2,
"allgather_partitions": true,
"allgather_bucket_size": 2e8,
"overlap_comm": true,
"reduce_scatter": true,
"reduce_bucket_size": "auto",
"contiguous_gradients": true
},
"gradient_accumulation_steps": 1,
"gradient_clipping": "auto",
"steps_per_print": 2000,
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"wall_clock_breakdown": false
}accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage2_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 24 \
--per_device_eval_batch_size 24 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\CPU offload ile ZeRO Stage-3 DeepSpeed Yapılandırma Dosyası Örneği
compute_environment: LOCAL_MACHINE
deepspeed_config:
deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage3_offload_config.json
zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: falseiçeriği zero_stage3_offload_config.json olan:
{
"fp16": {
"enabled": true,
"loss_scale": 0,
"loss_scale_window": 1000,
"initial_scale_power": 16,
"hysteresis": 2,
"min_loss_scale": 1
},
"optimizer": {
"type": "AdamW",
"params": {
"lr": "auto",
"weight_decay": "auto"
}
},
"scheduler": {
"type": "WarmupDecayLR",
"params": {
"warmup_min_lr": "auto",
"warmup_max_lr": "auto",
"warmup_num_steps": "auto",
"total_num_steps": "auto"
}
},
"zero_optimization": {
"stage": 3,
"offload_optimizer": {
"device": "cpu",
"pin_memory": true
},
"offload_param": {
"device": "cpu",
"pin_memory": true
},
"overlap_comm": true,
"contiguous_gradients": true,
"reduce_bucket_size": "auto",
"stage3_prefetch_bucket_size": "auto",
"stage3_param_persistence_threshold": "auto",
"sub_group_size": 1e9,
"stage3_max_live_parameters": 1e9,
"stage3_max_reuse_distance": 1e9,
"stage3_gather_16bit_weights_on_model_save": "auto"
},
"gradient_accumulation_steps": 1,
"gradient_clipping": "auto",
"steps_per_print": 2000,
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"wall_clock_breakdown": false
}accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage3_offload_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 32 \
--per_device_eval_batch_size 32 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\ZeRO++ Yapılandırma Örneği ZeRO++ özelliklerini uygun yapılandırma parametrelerini kullanarak kullanabilirsiniz. ZeRO++'ın ZeRO Stage 3 için bir uzantı olduğunu unutmayın. Yapılandırma dosyasının nasıl değiştirilebileceği, DeepSpeed'in ZeRO++ öğreticisinden alınmıştır:
{
"zero_optimization": {
"stage": 3,
"reduce_bucket_size": "auto",
"zero_quantized_weights": true,
"zero_hpz_partition_size": 8,
"zero_quantized_gradients": true,
"contiguous_gradients": true,
"overlap_comm": true
}
}Hiyerarşik bölme için, bölme boyutu zero_hpz_partition_size ideal olarak düğüm başına GPU sayısına ayarlanmalıdır. (Örneğin, yukarıdaki yapılandırma dosyası düğüm başına 8 GPU varsayar)
DeepSpeed Yapılandırma Dosyası Kullanılırken Önemli Kod Değişiklikleri
DeepSpeed Optimizers ve Schedulers. Bunlar hakkında daha fazla bilgi için DeepSpeed Optimizers ve DeepSpeed Schedulers belgelerine bakın. Bunları kullanırken kodda yapılması gereken değişikliklere göz atacağız.
a. DS Optim + DS Scheduler: DeepSpeed yapılandırma dosyasında hem
optimizerhem descheduleranahtarlarının mevcut olduğu durum. Bu durumda, bunlar kullanılacak ve kullanıcının kodlarındaki PyTorch/Özel optimizörleri ve zamanlayıcıları değiştirmek içinaccelerate.utils.DummyOptimveaccelerate.utils.DummySchedulerkullanması gerekecektir. Aşağıda, bunu gösterenexamples/by_feature/deepspeed_with_config_support.pydosyasından bir parça yer almaktadır:# Creates Dummy Optimizer if `optimizer` was specified in the config file else creates Adam Optimizer optimizer_cls = ( torch.optim.AdamW if accelerator.state.deepspeed_plugin is None or "optimizer" not in accelerator.state.deepspeed_plugin.deepspeed_config else DummyOptim ) optimizer = optimizer_cls(optimizer_grouped_parameters, lr=args.learning_rate) # Creates Dummy Scheduler if `scheduler` was specified in the config file else creates `args.lr_scheduler_type` Scheduler if ( accelerator.state.deepspeed_plugin is None or "scheduler" not in accelerator.state.deepspeed_plugin.deepspeed_config ): lr_scheduler = get_scheduler( name=args.lr_scheduler_type, optimizer=optimizer, num_warmup_steps=args.num_warmup_steps, num_training_steps=args.max_train_steps, ) else: lr_scheduler = DummyScheduler( optimizer, total_num_steps=args.max_train_steps, warmup_num_steps=args.num_warmup_steps )b. Özel Optimizer + Özel Scheduler: DeepSpeed yapılandırma dosyasında hem
optimizerhem descheduleranahtarlarının bulunmadığı durum. Bu durumda, kullanıcıdan herhangi bir kod değişikliği beklenmez ve DeepSpeed Plugin üzerinden entegrasyon kullanıldığında bu durum geçerlidir. Yukarıdaki örnekte, DeepSpeed yapılandırma dosyasındaoptimizervescheduleranahtarlarının bulunmaması durumunda kodun değiştirilmeden kaldığını görebiliriz.c. Özel Optim + DS Scheduler: DeepSpeed yapılandırma dosyasında yalnızca
scheduleranahtarının bulunduğu durum. Bu durumda, kullanıcının kodundaki PyTorch/Özel scheduler'ı değiştirmek içinaccelerate.utils.DummySchedulerkullanması gerekir.d. DS Optim + Özel Zamanlayıcı: DeepSpeed yapılandırma dosyasında yalnızca
optimizeranahtarının bulunduğu durum. Bu, DS Optim kullanılmadığında DS Scheduler'ın kullanılamayacağı için bir hataya yol açar.Yukarıdaki örnek DeepSpeed yapılandırma dosyalarındaki
autodeğerlerine dikkat edin. Bunlar,prepareyöntemine sağlanan model, veri yükleyiciler, sahte optimizör ve sahte zamanlayıcılara dayanarakprepareyöntemi tarafından otomatik olarak işlenir. Yukarıdaki örneklerde belirtilen yalnızcaautoalanlarıprepareyöntemi tarafından işlenir ve kalan alanların kullanıcı tarafından açıkça belirtilmesi gerekir.
auto değerleri şu şekilde hesaplanır:
reduce_bucket_size:hidden_size * hidden_sizestage3_prefetch_bucket_size:int(0.9 * hidden_size * hidden_size)stage3_param_persistence_threshold:10 * hidden_size
Bu 3 yapılandırma girdisi için auto özelliğinin çalışabilmesi için - Accelerate, hidden_size olarak model.config.hidden_size veya max(model.config.hidden_sizes) değerini kullanır. Bu değerlerin hiçbiri kullanılamıyorsa başlatma işlemi başarısız olur ve bu 3 yapılandırma girdisini manuel olarak ayarlamanız gerekir. İlk 2 yapılandırma girdisinin iletişim tamponları olduğunu unutmayın; bunlar ne kadar büyükse iletişim o kadar verimli olur, ancak ne kadar büyükse o kadar çok GPU belleği tüketirler, bu nedenle ayarlanabilir bir performans ödüşleşimidir.
DeepSpeed Yapılandırma Dosyası Kullanılırken Dikkat Edilmesi Gerekenler
Aşağıda, deepspeed_config_file'in farklı senaryolarda kullanımına dair örnek bir betik bulunmaktadır.
Kod test.py:
from accelerate import Accelerator
from accelerate.state import AcceleratorState
def main():
accelerator = Accelerator()
accelerator.print(f"{AcceleratorState()}")
if __name__ == "__main__":
main()Senaryo 1: deepspeed_config_file ile birlikte diğer girdileri içeren, manuel olarak değiştirilmiş accelerate yapılandırma dosyası.
accelerateyapılandırmasının içeriği:
command_file: null
commands: null
compute_environment: LOCAL_MACHINE
deepspeed_config:
gradient_accumulation_steps: 1
gradient_clipping: 1.0
offload_optimizer_device: 'cpu'
offload_param_device: 'cpu'
zero3_init_flag: true
zero3_save_16bit_model: true
zero_stage: 3
deepspeed_config_file: 'ds_config.json'
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
gpu_ids: null
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_name: null
tpu_zone: null
use_cpu: falseds_config.json:
{
"bf16": {
"enabled": true
},
"zero_optimization": {
"stage": 3,
"stage3_gather_16bit_weights_on_model_save": false,
"offload_optimizer": {
"device": "none"
},
"offload_param": {
"device": "none"
}
},
"gradient_clipping": 1.0,
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"gradient_accumulation_steps": 10,
"steps_per_print": 2000000
}accelerate launch test.pyçıktısı:
ValueError: When using `deepspeed_config_file`, the following accelerate config variables will be ignored:
['gradient_accumulation_steps', 'gradient_clipping', 'zero_stage', 'offload_optimizer_device', 'offload_param_device',
'zero3_save_16bit_model', 'mixed_precision'].
Please specify them appropriately in the DeepSpeed config file.
If you are using an accelerate config file, remove other config variables mentioned in the above specified list.
The easiest method is to create a new config following the questionnaire via `accelerate config`.
It will only ask for the necessary config variables when using `deepspeed_config_file`.Senaryo 2: Hatanın çözümünü kullanarak yeni bir accelerate yapılandırması oluşturun ve artık belirsizlik hatasının atılmadığını kontrol edin.
accelerate configkomutunu çalıştırın:
$ accelerate config
-------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
multi-GPU
How many different machines will you use (use more than 1 for multi-node training)? [1]:
Do you wish to optimize your script with torch dynamo?[yes/NO]:
Do you want to use DeepSpeed? [yes/NO]: yes
Do you want to specify a json file to a DeepSpeed config? [yes/NO]: yes
Please enter the path to the json DeepSpeed config file: ds_config.json
Do you want to enable `deepspeed.zero.Init` when using ZeRO Stage-3 for constructing massive models? [yes/NO]: yes
How many GPU(s) should be used for distributed training? [1]:4
accelerate configuration saved at ds_config_sample.yamlaccelerateyapılandırmasının içeriği:
compute_environment: LOCAL_MACHINE
deepspeed_config:
deepspeed_config_file: ds_config.json
zero3_init_flag: true
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
machine_rank: 0
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 4
rdzv_backend: static
same_network: true
use_cpu: falseaccelerate launch test.pyçıktısı:
Distributed environment: DEEPSPEED Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: bf16
ds_config: {'bf16': {'enabled': True}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': False, 'offload_optimizer': {'device': 'none'}, 'offload_param': {'device': 'none'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 10, 'steps_per_print': inf, 'fp16': {'enabled': False}}Senaryo 3: DeepSpeed yapılandırma dosyasında accelerate launch komutunun DeepSpeed ile ilgili argümanlarını "auto" olarak ayarlayın ve her şeyin beklenildiği gibi çalıştığını kontrol edin.
accelerate launchDeepSpeed komut argümanları için"auto"içeren yenids_config.json:
{
"bf16": {
"enabled": "auto"
},
"zero_optimization": {
"stage": "auto",
"stage3_gather_16bit_weights_on_model_save": "auto",
"offload_optimizer": {
"device": "auto"
},
"offload_param": {
"device": "auto"
}
},
"gradient_clipping": "auto",
"train_batch_size": "auto",
"train_micro_batch_size_per_gpu": "auto",
"gradient_accumulation_steps": "auto",
"steps_per_print": 2000000
}accelerate launch --mixed_precision="fp16" --zero_stage=3 --gradient_accumulation_steps=5 --gradient_clipping=1.0 --offload_param_device="cpu" --offload_optimizer_device="nvme" --zero3_save_16bit_model="true" test.pyçıktısı:
Distributed environment: DEEPSPEED Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: fp16
ds_config: {'bf16': {'enabled': False}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': True, 'offload_optimizer': {'device': 'nvme'}, 'offload_param': {'device': 'cpu'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 5, 'steps_per_print': inf, 'fp16': {'enabled': True, 'auto_cast': True}}Not:
- Remaining
"auto"values are handled inaccelerator.prepare()call as explained in point 2 ofImportant code changes when using DeepSpeed Config File. gradient_accumulation_stepsyalnızcaautoolduğunda,Accelerator(gradient_accumulation_steps=k)ileAcceleratornesnesi oluşturulurken geçirilen değer kullanılır. DeepSpeed Plugin kullanıldığında, bu eklentinin değeri kullanılır ve Accelerator nesnesi oluşturulurken geçirilen değeri üzerine yazar.
Kaydetme ve yükleme
ZeRO Stage-1 ve Stage-2 için modellerin kaydedilmesi ve yüklenmesi değişmemiştir.
ZeRO Stage-3 altında, model ağırlıkları birden fazla GPU arasında paylaşıldığı için
state_dictyalnızca yer tutucuları içerir. ZeRO Stage-3'ün 2 seçeneği vardır:a. 16bit model ağırlıklarının tamamını, daha sonra
model.load_state_dict(torch.load(pytorch_model.bin))kullanılarak doğrudan yüklenebilecek şekilde kaydetme. Bunun için, DeepSpeed Config dosyasındazero_optimization.stage3_gather_16bit_weights_on_model_savedeğerini True olarak ayarlayın veya DeepSpeed Plugin'dezero3_save_16bit_modeldeğerini True olarak ayarlayın. Bu seçeneğin, ağırlıkların tek bir GPU üzerinde birleştirilmesini gerektirdiğini, bu nedenle yavaş ve bellek yoğun olabileceğini, bu özelliği yalnızca gerektiğinde kullanmanız gerektiğini unutmayın. Aşağıda, bunu gösterenexamples/by_feature/deepspeed_with_config_support.pydosyasından bir kod parçası yer almaktadır:unwrapped_model = accelerator.unwrap_model(model) # New Code # # Saves the whole/unpartitioned fp16 model when in ZeRO Stage-3 to the output directory if # `stage3_gather_16bit_weights_on_model_save` is True in DeepSpeed Config file or # `zero3_save_16bit_model` is True in DeepSpeed Plugin. # For Zero Stages 1 and 2, models are saved as usual in the output directory. # The model name saved is `pytorch_model.bin` unwrapped_model.save_pretrained( args.output_dir, is_main_process=accelerator.is_main_process, save_function=accelerator.save, state_dict=accelerator.get_state_dict(model), )b. 32 bit ağırlıkları almak için, önce modeli
model.save_checkpoint()kullanarak kaydedin. Aşağıda, bunu gösterenexamples/by_feature/deepspeed_with_config_support.pydosyasından bir kod parçası yer almaktadır:success = model.save_checkpoint(PATH, ckpt_id, checkpoint_state_dict) status_msg = f"checkpointing: PATH={PATH}, ckpt_id={ckpt_id}" if success: logging.info(f"Success {status_msg}") else: logging.warning(f"Failure {status_msg}")Bu işlem, checkpoint dizininde ZeRO model ve optimizör bölümlerini ve
zero_to_fp32.pybetiğini oluşturur. Bu betiği çevrimdışı birleştirme işlemi için kullanabilirsiniz. Yapılandırma dosyaları veya GPU gerektirmez. Kullanımına dair bir örnek aşağıdadır:$ cd /path/to/checkpoint_dir $ ./zero_to_fp32.py . pytorch_model.bin Processing zero checkpoint at global_step1 Detected checkpoint of type zero stage 3, world_size: 2 Saving fp32 state dict to pytorch_model.bin (total_numel=60506624)Kaydetme/çıkarım için 32bit model almak istiyorsanız, şunu yapabilirsiniz:
from deepspeed.utils.zero_to_fp32 import load_state_dict_from_zero_checkpoint unwrapped_model = accelerator.unwrap_model(model) fp32_model = load_state_dict_from_zero_checkpoint(unwrapped_model, checkpoint_dir)Eğer yalnızca
state_dictile ilgileniyorsanız, şunları yapabilirsiniz:from deepspeed.utils.zero_to_fp32 import get_fp32_state_dict_from_zero_checkpoint state_dict = get_fp32_state_dict_from_zero_checkpoint(checkpoint_dir)Not: Tüm bu işlevler, nihai kontrol noktasının boyutunun yaklaşık 2 katı kadar bellek (genel RAM) gerektirir.
ZeRO Çıkarım
DeepSpeed ZeRO Inference, ZeRO-Infinity ile ZeRO 3. aşamayı destekler. Eğitimle aynı ZeRO protokolünü kullanır ancak bir optimizer ve lr scheduler kullanmaz ve yalnızca 3. aşama geçerlidir. accelerate entegrasyonu ile aşağıda gösterildiği gibi yalnızca model ve dataloader'ı hazırlamanız yeterlidir:
model, eval_dataloader = accelerator.prepare(model, eval_dataloader)
Dikkat edilmesi gereken birkaç uyarı
- Mevcut entegrasyon, DeepSpeed'in Pipeline Parallelism özelliğini desteklememektedir.
- Mevcut entegrasyon
mpudesteklemiyor; bu da Megatron-LM'de desteklenen tensor paralelliğini sınırlıyor. - Mevcut entegrasyon birden fazla modeli desteklemiyor.
Çok düğümlü DeepSpeed
DeepSpeed, çeşitli farklı başlatıcılar üzerinden çoklu düğüm çıkarımını ve eğitimini destekler. CLI'da veya DeepSpeed yapılandırma dosyasında deepspeed_multinode_launcher yapılandırmasını ayarlayarak farklı bir başlatıcı belirleyebilirsiniz.
Şu anda accelerate, aşağıdaki DeepSpeed çoklu düğüm başlatıcıları için yapılandırma geçilmesini destekler: pdsh (varsayılan), standard, openmpi, mvapich, mpich, slurm, nossh (DeepSpeed >= 0.14.5 gerektirir).
Farklı başlatıcılar hakkında daha fazla bilgi için lütfen DeepSpeed belgelerini okuyun. Varsayılan olarak DeepSpeed, başlatıcı komutunu gerçekleştirmek için ana makine düğümünden diğer düğümlere şifresiz SSH kullanmaya çalışır. Bu yapılandırmada, accelerate launch komutunun yalnızca ana düğümde çalıştırılması yeterlidir. nossh başlatıcısını kullanıyorsanız, kopyalanmış yapılandırmayı kullanarak accelerate launch komutunu her düğümde çalıştırmanız gerekir.
DeepSpeed Kaynakları
deepspeed ile ilgili iç mekanizmaların belgeleri burada bulunabilir.
Makaleler:
- ZeRO: Trilyon Parametreli Modellerin Eğitimi İçinde Bellek Optimizasyonları
- ZeRO-Offload: Milyar Ölçekli Model Eğitimini Yaygınlaştırma
- ZeRO-Infinity: Aşırı Ölçekli Derin Öğrenmede GPU Bellek Duvarını Aşmak
- ZeRO++: Dev Model Eğitimi İçin Son Derece Verimli Kolektif İletişim
Son olarak, lütfen Accelerate'in yalnızca DeepSpeed'i entegre ettiğini unutmayın; bu nedenle DeepSpeed kullanımıyla ilgili herhangi bir sorununuz veya sorunuz varsa, lütfen DeepSpeed GitHub'da bir sorun (issue) açın.
Update on GitHubFSDP ve DeepSpeed arasındaki benzerlikler ve farklılıklarla ilgilenenler için lütfen buradaki kavram kılavuzuna göz atın!