Accelerate documentation

DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed

DeepSpeed, ZeRO makalesinde anlatılan her şeyi uygular. Öne çıkan bazı optimizasyonlar şunlardır:

  1. Optimizatör durumu bölme (ZeRO aşama 1)
  2. Gradyan bölme (ZeRO aşama 2)
  3. Parametre bölme (ZeRO 3. aşama)
  4. Özel karma hassasiyet eğitim işleme
  5. Hızlı CUDA eklentisi tabanlı bir dizi optimizör
  6. ZeRO-Offload ile CPU ve Disk/NVMe'ye aktarma
  7. Model parametrelerinin hiyerarşik bölünmesi (ZeRO++)

ZeRO-Offload'ın kendi özel makalesi vardır: ZeRO-Offload: Democratizing Billion-Scale Model Training. NVMe desteği ise ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning makalesinde açıklanmıştır.

DeepSpeed ZeRO-2, özellikleri çıkarım için işe yaramadığından, yalnızca eğitim için kullanılır.

DeepSpeed ZeRO-3, dev modellerin tek bir GPU’da mümkün olmayan şekilde birden fazla GPU’da yüklenebilmesini sağladığı için çıkarım (inference) için de kullanılabilir.

Accelerate, DeepSpeed entegrasyonunu 2 seçenek üzerinden sağlar:

  1. accelerate config içinde deepspeed config file belirtimi yoluyla DeepSpeed özelliklerinin entegrasyonu. Sadece özel config dosyanızı sağlayın veya şablonumuzu kullanın. Bu belgenin büyük bölümü bu özelliğe odaklanmıştır. Bu, DeepSpeed'in tüm temel özelliklerini destekler ve kullanıcıya çok esneklik sağlar. Kullanıcı, config'e bağlı olarak birkaç satır kodu değiştirmek zorunda kalabilir.
  2. deepspeed_plugin üzerinden entegrasyon. Bu, DeepSpeed özelliklerinin bir alt kümesini destekler ve kalan yapılandırmalar için varsayılan seçenekleri kullanır. Kullanıcının herhangi bir kod değişikliği yapmasına gerek yoktur ve DeepSpeed'in çoğu varsayılan ayarıyla sorun yaşamayanlar için uygundur.

Hangi bileşenler entegre edildi?

Eğitim:

  1. Accelerate, DeepSpeed ZeRO'nün tüm özelliklerini entegre eder. Bu, ZeRO 1, 2 ve 3 aşamalarının yanı sıra ZeRO-Offload, ZeRO-Infinity (disk/NVMe'ye ofload edebilir) ve ZeRO++'ı da içerir. Aşağıda, ZeRO - Zero Redundancy Optimizer kullanılarak Veri Paralelliğinin kısa bir açıklaması ve bu blog yazısından alınan bir şema yer almaktadır. ZeRO Data Parallelism

(Kaynak: bağlantı)

a. 1. Aşama : Optimizer durumlarını veri paralel işçileri/GPU'lar arasında parçalara ayırır

b. Stage 2 : Optimizer durumlarını + gradyanları veri paralel işçileri/GPU'lar arasında parçalar

c. Stage 3: Optimizer durumları + gradyanlar + model parametreleri, veri paralel işçileri/GPU'lar arasında parçalanır

d. Optimizer Offload: Gradyanları + optimizör durumlarını CPU/Disk'e taşır, ZERO Stage 2'nin üzerine inşa edilir

e. Parametre Taşıma (Param Offload): Model parametrelerini CPU/Disk'e taşır ve bunu ZERO Stage 3 üzerine inşa eder

f. Hierarşik Bölme: Düğümler arasında veri paralel eğitim ve düğüm içinde ZeRO-3 bölme ile verimli çok düğümlü eğitimi sağlar; ZeRO Stage 3 üzerine inşa edilmiştir.

Note: With respect to Disk Offload, the disk should be an NVME for decent speed but it technically works on any Disk

Çıkarım:

  1. DeepSpeed ZeRO Inference, ZeRO-Infinity ile ZeRO 3. aşamayı destekler. Eğitimle aynı ZeRO protokolünü kullanır ancak bir optimizer ve lr scheduler kullanmaz ve yalnızca 3. aşama geçerlidir. Daha fazla ayrıntı için bkz: ZeRO Inference.

Nasıl çalışır?

Ön Gereksinimler: DeepSpeed sürümünün >=0.6.5 olduğundan emin olun. Daha fazla bilgi için DeepSpeed Kurulum ayrıntıları bölümüne bakın.

Önce accelerate config ile kolay kullanımlı entegrasyona bakacağız. Ardından daha esnek ve özellik açısından zengin deepspeed config file entegrasyonu gelecek.

Accelerate DeepSpeed Eklentisi

Makinenizde (makinenizlerde) şunu çalıştırmanız yeterlidir:

accelerate config

ve sorulan soruları yanıtlayın. DeepSpeed için bir yapılandırma dosyası kullanmak isteyip istemediğinizi soracaktır; buna hayır yanıtını verin. Ardından temel bir DeepSpeed yapılandırması oluşturmak için aşağıdaki soruları yanıtlayın. Bu, varsayılan seçenekleri doğru şekilde ayarlamak için otomatik olarak kullanılacak bir yapılandırma dosyası oluşturur

accelerate launch my_script.py --args_to_my_script

Örneğin, DeepSpeed Plugin ile examples/nlp_example.py (deponun kökünden) NLP örneğini nasıl çalıştıracağınız aşağıdaki gibidir:

ZeRO Stage-2 DeepSpeed Eklenti Örneği

compute_environment: LOCAL_MACHINE
deepspeed_config:
 gradient_accumulation_steps: 1
 gradient_clipping: 1.0
 offload_optimizer_device: none
 offload_param_device: none
 zero3_init_flag: true
 zero_stage: 2
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
accelerate launch examples/nlp_example.py --mixed_precision fp16

CPU Offload ile ZeRO Stage-3 DeepSpeed Eklentisi Örneği

compute_environment: LOCAL_MACHINE
deepspeed_config:
  gradient_accumulation_steps: 1
  gradient_clipping: 1.0
  offload_optimizer_device: cpu
  offload_param_device: cpu
  zero3_init_flag: true
  zero3_save_16bit_model: true
  zero_stage: 3
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
accelerate launch examples/nlp_example.py --mixed_precision fp16

Şu anda Accelerate, CLI üzerinden aşağıdaki yapılandırmayı destekler:

`zero_stage`: [0] Disabled, [1] optimizer state partitioning, [2] optimizer+gradient state partitioning and [3] optimizer+gradient+parameter partitioning
`gradient_accumulation_steps`: Number of training steps to accumulate gradients before averaging and applying them.
`gradient_clipping`: Enable gradient clipping with value.
`offload_optimizer_device`: [none] Disable optimizer offloading, [cpu] offload optimizer to CPU, [nvme] offload optimizer to NVMe SSD. Only applicable with ZeRO >= Stage-2.
`offload_optimizer_nvme_path`: Decides Nvme Path to offload optimizer states. If unspecified, will default to 'none'.
`offload_param_device`: [none] Disable parameter offloading, [cpu] offload parameters to CPU, [nvme] offload parameters to NVMe SSD. Only applicable with ZeRO Stage-3.
`offload_param_nvme_path`: Decides Nvme Path to offload parameters. If unspecified, will default to 'none'.
`zero3_init_flag`: Decides whether to enable `deepspeed.zero.Init` for constructing massive models. Only applicable with ZeRO Stage-3.
`zero3_save_16bit_model`: Decides whether to save 16-bit model weights when using ZeRO Stage-3.
`mixed_precision`: `no` for FP32 training, `fp16` for FP16 mixed-precision training and `bf16` for BF16 mixed-precision training.
`deepspeed_moe_layer_cls_names`: Comma-separated list of transformer Mixture-of-Experts (MoE) layer class names (case-sensitive) to wrap ,e.g, `MixtralSparseMoeBlock`, `Qwen2MoeSparseMoeBlock`, `JetMoEAttention,JetMoEBlock` ...
`deepspeed_hostfile`: DeepSpeed hostfile for configuring multi-node compute resources.
`deepspeed_exclusion_filter`: DeepSpeed exclusion filter string when using mutli-node setup.
`deepspeed_inclusion_filter`: DeepSpeed inclusion filter string when using mutli-node setup.
`deepspeed_multinode_launcher`: DeepSpeed multi-node launcher to use, e.g. `pdsh`, `standard`, `openmpi`, `mvapich`, `mpich`, `slurm`, `nossh` (requires DeepSpeed >= 0.14.5). If unspecified, will default to `pdsh`.
`deepspeed_config_file`: path to the DeepSpeed config file in `json` format. See the next section for more details on this.

Daha fazla seçeneği ayarlayabilmek için bir DeepSpeed yapılandırma dosyası kullanmanız gerekir.

DeepSpeed Yapılandırma Dosyası

Makinenizde (makinenizlerde) şunu çalıştırmanız yeterlidir:

accelerate config

ve sorulan soruları yanıtlayın. DeepSpeed için bir yapılandırma dosyası kullanmak isteyip istemediğinizi soracaktır; buna evet yanıtını verin ve DeepSpeed yapılandırma dosyasının yolunu belirtin. Bu, varsayılan seçeneklerin doğru şekilde ayarlanmasını sağlamak için otomatik olarak kullanılacak bir yapılandırma dosyası oluşturur

accelerate launch my_script.py --args_to_my_script

Örneğin, DeepSpeed Config File ile NLP örneği examples/by_feature/deepspeed_with_config_support.py'yi (deponun kökünden) şu şekilde çalıştırırsınız:

ZeRO Stage-2 DeepSpeed Yapılandırma Dosyası Örneği

compute_environment: LOCAL_MACHINE
deepspeed_config:
 deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage2_config.json
 zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false

içeriği zero_stage2_config.json olan:

{
    "fp16": {
        "enabled": true,
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "weight_decay": "auto",
            "torch_adam": true,
            "adam_w_mode": true
        }
    },
    "scheduler": {
        "type": "WarmupDecayLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto",
            "total_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 2,
        "allgather_partitions": true,
        "allgather_bucket_size": 2e8,
        "overlap_comm": true,
        "reduce_scatter": true,
        "reduce_bucket_size": "auto",
        "contiguous_gradients": true
    },
    "gradient_accumulation_steps": 1,
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage2_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 24 \
--per_device_eval_batch_size 24 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\

CPU offload ile ZeRO Stage-3 DeepSpeed Yapılandırma Dosyası Örneği

compute_environment: LOCAL_MACHINE
deepspeed_config:
 deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage3_offload_config.json
 zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false

içeriği zero_stage3_offload_config.json olan:

{
    "fp16": {
        "enabled": true,
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "weight_decay": "auto"
        }
    },
    "scheduler": {
        "type": "WarmupDecayLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto",
            "total_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        },
        "overlap_comm": true,
        "contiguous_gradients": true,
        "reduce_bucket_size": "auto",
        "stage3_prefetch_bucket_size": "auto",
        "stage3_param_persistence_threshold": "auto",
        "sub_group_size": 1e9,
        "stage3_max_live_parameters": 1e9,
        "stage3_max_reuse_distance": 1e9,
        "stage3_gather_16bit_weights_on_model_save": "auto"
    },
    "gradient_accumulation_steps": 1,
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage3_offload_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 32 \
--per_device_eval_batch_size 32 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\

ZeRO++ Yapılandırma Örneği ZeRO++ özelliklerini uygun yapılandırma parametrelerini kullanarak kullanabilirsiniz. ZeRO++'ın ZeRO Stage 3 için bir uzantı olduğunu unutmayın. Yapılandırma dosyasının nasıl değiştirilebileceği, DeepSpeed'in ZeRO++ öğreticisinden alınmıştır:

{
    "zero_optimization": {
        "stage": 3,
        "reduce_bucket_size": "auto",

        "zero_quantized_weights": true,
        "zero_hpz_partition_size": 8,
        "zero_quantized_gradients": true,

        "contiguous_gradients": true,
        "overlap_comm": true
    }
}

Hiyerarşik bölme için, bölme boyutu zero_hpz_partition_size ideal olarak düğüm başına GPU sayısına ayarlanmalıdır. (Örneğin, yukarıdaki yapılandırma dosyası düğüm başına 8 GPU varsayar)

DeepSpeed Yapılandırma Dosyası Kullanılırken Önemli Kod Değişiklikleri

  1. DeepSpeed Optimizers ve Schedulers. Bunlar hakkında daha fazla bilgi için DeepSpeed Optimizers ve DeepSpeed Schedulers belgelerine bakın. Bunları kullanırken kodda yapılması gereken değişikliklere göz atacağız.

    a. DS Optim + DS Scheduler: DeepSpeed yapılandırma dosyasında hem optimizer hem de scheduler anahtarlarının mevcut olduğu durum. Bu durumda, bunlar kullanılacak ve kullanıcının kodlarındaki PyTorch/Özel optimizörleri ve zamanlayıcıları değiştirmek için accelerate.utils.DummyOptim ve accelerate.utils.DummyScheduler kullanması gerekecektir. Aşağıda, bunu gösteren examples/by_feature/deepspeed_with_config_support.py dosyasından bir parça yer almaktadır:

     # Creates Dummy Optimizer if `optimizer` was specified in the config file else creates Adam Optimizer
     optimizer_cls = (
         torch.optim.AdamW
         if accelerator.state.deepspeed_plugin is None
         or "optimizer" not in accelerator.state.deepspeed_plugin.deepspeed_config
         else DummyOptim
     )
     optimizer = optimizer_cls(optimizer_grouped_parameters, lr=args.learning_rate)
    
     # Creates Dummy Scheduler if `scheduler` was specified in the config file else creates `args.lr_scheduler_type` Scheduler
     if (
         accelerator.state.deepspeed_plugin is None
         or "scheduler" not in accelerator.state.deepspeed_plugin.deepspeed_config
     ):
         lr_scheduler = get_scheduler(
             name=args.lr_scheduler_type,
             optimizer=optimizer,
             num_warmup_steps=args.num_warmup_steps,
             num_training_steps=args.max_train_steps,
         )
     else:
         lr_scheduler = DummyScheduler(
             optimizer, total_num_steps=args.max_train_steps, warmup_num_steps=args.num_warmup_steps
         )

    b. Özel Optimizer + Özel Scheduler: DeepSpeed yapılandırma dosyasında hem optimizer hem de scheduler anahtarlarının bulunmadığı durum. Bu durumda, kullanıcıdan herhangi bir kod değişikliği beklenmez ve DeepSpeed Plugin üzerinden entegrasyon kullanıldığında bu durum geçerlidir. Yukarıdaki örnekte, DeepSpeed yapılandırma dosyasında optimizer ve scheduler anahtarlarının bulunmaması durumunda kodun değiştirilmeden kaldığını görebiliriz.

    c. Özel Optim + DS Scheduler: DeepSpeed yapılandırma dosyasında yalnızca scheduler anahtarının bulunduğu durum. Bu durumda, kullanıcının kodundaki PyTorch/Özel scheduler'ı değiştirmek için accelerate.utils.DummyScheduler kullanması gerekir.

    d. DS Optim + Özel Zamanlayıcı: DeepSpeed yapılandırma dosyasında yalnızca optimizer anahtarının bulunduğu durum. Bu, DS Optim kullanılmadığında DS Scheduler'ın kullanılamayacağı için bir hataya yol açar.

  2. Yukarıdaki örnek DeepSpeed yapılandırma dosyalarındaki auto değerlerine dikkat edin. Bunlar, prepare yöntemine sağlanan model, veri yükleyiciler, sahte optimizör ve sahte zamanlayıcılara dayanarak prepare yöntemi tarafından otomatik olarak işlenir. Yukarıdaki örneklerde belirtilen yalnızca auto alanları prepare yöntemi tarafından işlenir ve kalan alanların kullanıcı tarafından açıkça belirtilmesi gerekir.

auto değerleri şu şekilde hesaplanır:

  • reduce_bucket_size: hidden_size * hidden_size
  • stage3_prefetch_bucket_size: int(0.9 * hidden_size * hidden_size)
  • stage3_param_persistence_threshold: 10 * hidden_size

Bu 3 yapılandırma girdisi için auto özelliğinin çalışabilmesi için - Accelerate, hidden_size olarak model.config.hidden_size veya max(model.config.hidden_sizes) değerini kullanır. Bu değerlerin hiçbiri kullanılamıyorsa başlatma işlemi başarısız olur ve bu 3 yapılandırma girdisini manuel olarak ayarlamanız gerekir. İlk 2 yapılandırma girdisinin iletişim tamponları olduğunu unutmayın; bunlar ne kadar büyükse iletişim o kadar verimli olur, ancak ne kadar büyükse o kadar çok GPU belleği tüketirler, bu nedenle ayarlanabilir bir performans ödüşleşimidir.

DeepSpeed Yapılandırma Dosyası Kullanılırken Dikkat Edilmesi Gerekenler

Aşağıda, deepspeed_config_file'in farklı senaryolarda kullanımına dair örnek bir betik bulunmaktadır.

Kod test.py:

from accelerate import Accelerator
from accelerate.state import AcceleratorState


def main():
    accelerator = Accelerator()
    accelerator.print(f"{AcceleratorState()}")


if __name__ == "__main__":
    main()

Senaryo 1: deepspeed_config_file ile birlikte diğer girdileri içeren, manuel olarak değiştirilmiş accelerate yapılandırma dosyası.

  1. accelerate yapılandırmasının içeriği:
command_file: null
commands: null
compute_environment: LOCAL_MACHINE
deepspeed_config:
  gradient_accumulation_steps: 1
  gradient_clipping: 1.0
  offload_optimizer_device: 'cpu'
  offload_param_device: 'cpu'
  zero3_init_flag: true
  zero3_save_16bit_model: true
  zero_stage: 3
  deepspeed_config_file: 'ds_config.json'
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
gpu_ids: null
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_name: null
tpu_zone: null
use_cpu: false
  1. ds_config.json:
{
    "bf16": {
        "enabled": true
    },
    "zero_optimization": {
        "stage": 3,
        "stage3_gather_16bit_weights_on_model_save": false,
        "offload_optimizer": {
            "device": "none"
        },
        "offload_param": {
            "device": "none"
        }
    },
    "gradient_clipping": 1.0,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": 10,
    "steps_per_print": 2000000
}
  1. accelerate launch test.py çıktısı:
ValueError: When using `deepspeed_config_file`, the following accelerate config variables will be ignored:
['gradient_accumulation_steps', 'gradient_clipping', 'zero_stage', 'offload_optimizer_device', 'offload_param_device',
'zero3_save_16bit_model', 'mixed_precision'].
Please specify them appropriately in the DeepSpeed config file.
If you are using an accelerate config file, remove other config variables mentioned in the above specified list.
The easiest method is to create a new config following the questionnaire via `accelerate config`.
It will only ask for the necessary config variables when using `deepspeed_config_file`.

Senaryo 2: Hatanın çözümünü kullanarak yeni bir accelerate yapılandırması oluşturun ve artık belirsizlik hatasının atılmadığını kontrol edin.

  1. accelerate config komutunu çalıştırın:
$ accelerate config
-------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
multi-GPU
How many different machines will you use (use more than 1 for multi-node training)? [1]:
Do you wish to optimize your script with torch dynamo?[yes/NO]:
Do you want to use DeepSpeed? [yes/NO]: yes
Do you want to specify a json file to a DeepSpeed config? [yes/NO]: yes
Please enter the path to the json DeepSpeed config file: ds_config.json
Do you want to enable `deepspeed.zero.Init` when using ZeRO Stage-3 for constructing massive models? [yes/NO]: yes
How many GPU(s) should be used for distributed training? [1]:4
accelerate configuration saved at ds_config_sample.yaml
  1. accelerate yapılandırmasının içeriği:
compute_environment: LOCAL_MACHINE
deepspeed_config:
  deepspeed_config_file: ds_config.json
  zero3_init_flag: true
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
machine_rank: 0
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 4
rdzv_backend: static
same_network: true
use_cpu: false
  1. accelerate launch test.py çıktısı:
Distributed environment: DEEPSPEED  Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: bf16
ds_config: {'bf16': {'enabled': True}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': False, 'offload_optimizer': {'device': 'none'}, 'offload_param': {'device': 'none'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 10, 'steps_per_print': inf, 'fp16': {'enabled': False}}

Senaryo 3: DeepSpeed yapılandırma dosyasında accelerate launch komutunun DeepSpeed ile ilgili argümanlarını "auto" olarak ayarlayın ve her şeyin beklenildiği gibi çalıştığını kontrol edin.

  1. accelerate launch DeepSpeed komut argümanları için "auto" içeren yeni ds_config.json:
{
    "bf16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": "auto",
        "stage3_gather_16bit_weights_on_model_save": "auto",
        "offload_optimizer": {
            "device": "auto"
        },
        "offload_param": {
            "device": "auto"
        }
    },
    "gradient_clipping": "auto",
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": "auto",
    "steps_per_print": 2000000
}
  1. accelerate launch --mixed_precision="fp16" --zero_stage=3 --gradient_accumulation_steps=5 --gradient_clipping=1.0 --offload_param_device="cpu" --offload_optimizer_device="nvme" --zero3_save_16bit_model="true" test.py çıktısı:
Distributed environment: DEEPSPEED  Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: fp16
ds_config: {'bf16': {'enabled': False}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': True, 'offload_optimizer': {'device': 'nvme'}, 'offload_param': {'device': 'cpu'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 5, 'steps_per_print': inf, 'fp16': {'enabled': True, 'auto_cast': True}}

Not:

  1. Remaining "auto" values are handled in accelerator.prepare() call as explained in point 2 of Important code changes when using DeepSpeed Config File.
  2. gradient_accumulation_steps yalnızca auto olduğunda, Accelerator(gradient_accumulation_steps=k) ile Accelerator nesnesi oluşturulurken geçirilen değer kullanılır. DeepSpeed Plugin kullanıldığında, bu eklentinin değeri kullanılır ve Accelerator nesnesi oluşturulurken geçirilen değeri üzerine yazar.

Kaydetme ve yükleme

  1. ZeRO Stage-1 ve Stage-2 için modellerin kaydedilmesi ve yüklenmesi değişmemiştir.

  2. ZeRO Stage-3 altında, model ağırlıkları birden fazla GPU arasında paylaşıldığı için state_dict yalnızca yer tutucuları içerir. ZeRO Stage-3'ün 2 seçeneği vardır:

    a. 16bit model ağırlıklarının tamamını, daha sonra model.load_state_dict(torch.load(pytorch_model.bin)) kullanılarak doğrudan yüklenebilecek şekilde kaydetme. Bunun için, DeepSpeed Config dosyasında zero_optimization.stage3_gather_16bit_weights_on_model_save değerini True olarak ayarlayın veya DeepSpeed Plugin'de zero3_save_16bit_model değerini True olarak ayarlayın. Bu seçeneğin, ağırlıkların tek bir GPU üzerinde birleştirilmesini gerektirdiğini, bu nedenle yavaş ve bellek yoğun olabileceğini, bu özelliği yalnızca gerektiğinde kullanmanız gerektiğini unutmayın. Aşağıda, bunu gösteren examples/by_feature/deepspeed_with_config_support.py dosyasından bir kod parçası yer almaktadır:

    unwrapped_model = accelerator.unwrap_model(model)
    
    # New Code #
    # Saves the whole/unpartitioned fp16 model when in ZeRO Stage-3 to the output directory if
    # `stage3_gather_16bit_weights_on_model_save` is True in DeepSpeed Config file or
    # `zero3_save_16bit_model` is True in DeepSpeed Plugin.
    # For Zero Stages 1 and 2, models are saved as usual in the output directory.
    # The model name saved is `pytorch_model.bin`
    unwrapped_model.save_pretrained(
        args.output_dir,
        is_main_process=accelerator.is_main_process,
        save_function=accelerator.save,
        state_dict=accelerator.get_state_dict(model),
    )

    b. 32 bit ağırlıkları almak için, önce modeli model.save_checkpoint() kullanarak kaydedin. Aşağıda, bunu gösteren examples/by_feature/deepspeed_with_config_support.py dosyasından bir kod parçası yer almaktadır:

    success = model.save_checkpoint(PATH, ckpt_id, checkpoint_state_dict)
    status_msg = f"checkpointing: PATH={PATH}, ckpt_id={ckpt_id}"
    if success:
        logging.info(f"Success {status_msg}")
    else:
        logging.warning(f"Failure {status_msg}")

    Bu işlem, checkpoint dizininde ZeRO model ve optimizör bölümlerini ve zero_to_fp32.py betiğini oluşturur. Bu betiği çevrimdışı birleştirme işlemi için kullanabilirsiniz. Yapılandırma dosyaları veya GPU gerektirmez. Kullanımına dair bir örnek aşağıdadır:

    $ cd /path/to/checkpoint_dir
    $ ./zero_to_fp32.py . pytorch_model.bin
    Processing zero checkpoint at global_step1
    Detected checkpoint of type zero stage 3, world_size: 2
    Saving fp32 state dict to pytorch_model.bin (total_numel=60506624)

    Kaydetme/çıkarım için 32bit model almak istiyorsanız, şunu yapabilirsiniz:

    from deepspeed.utils.zero_to_fp32 import load_state_dict_from_zero_checkpoint
    
    unwrapped_model = accelerator.unwrap_model(model)
    fp32_model = load_state_dict_from_zero_checkpoint(unwrapped_model, checkpoint_dir)

    Eğer yalnızca state_dict ile ilgileniyorsanız, şunları yapabilirsiniz:

    from deepspeed.utils.zero_to_fp32 import get_fp32_state_dict_from_zero_checkpoint
    
    state_dict = get_fp32_state_dict_from_zero_checkpoint(checkpoint_dir)

    Not: Tüm bu işlevler, nihai kontrol noktasının boyutunun yaklaşık 2 katı kadar bellek (genel RAM) gerektirir.

ZeRO Çıkarım

DeepSpeed ZeRO Inference, ZeRO-Infinity ile ZeRO 3. aşamayı destekler. Eğitimle aynı ZeRO protokolünü kullanır ancak bir optimizer ve lr scheduler kullanmaz ve yalnızca 3. aşama geçerlidir. accelerate entegrasyonu ile aşağıda gösterildiği gibi yalnızca model ve dataloader'ı hazırlamanız yeterlidir:

model, eval_dataloader = accelerator.prepare(model, eval_dataloader)

Dikkat edilmesi gereken birkaç uyarı

  1. Mevcut entegrasyon, DeepSpeed'in Pipeline Parallelism özelliğini desteklememektedir.
  2. Mevcut entegrasyon mpu desteklemiyor; bu da Megatron-LM'de desteklenen tensor paralelliğini sınırlıyor.
  3. Mevcut entegrasyon birden fazla modeli desteklemiyor.

Çok düğümlü DeepSpeed

DeepSpeed, çeşitli farklı başlatıcılar üzerinden çoklu düğüm çıkarımını ve eğitimini destekler. CLI'da veya DeepSpeed yapılandırma dosyasında deepspeed_multinode_launcher yapılandırmasını ayarlayarak farklı bir başlatıcı belirleyebilirsiniz.

Şu anda accelerate, aşağıdaki DeepSpeed çoklu düğüm başlatıcıları için yapılandırma geçilmesini destekler: pdsh (varsayılan), standard, openmpi, mvapich, mpich, slurm, nossh (DeepSpeed >= 0.14.5 gerektirir).

Farklı başlatıcılar hakkında daha fazla bilgi için lütfen DeepSpeed belgelerini okuyun. Varsayılan olarak DeepSpeed, başlatıcı komutunu gerçekleştirmek için ana makine düğümünden diğer düğümlere şifresiz SSH kullanmaya çalışır. Bu yapılandırmada, accelerate launch komutunun yalnızca ana düğümde çalıştırılması yeterlidir. nossh başlatıcısını kullanıyorsanız, kopyalanmış yapılandırmayı kullanarak accelerate launch komutunu her düğümde çalıştırmanız gerekir.

DeepSpeed Kaynakları

deepspeed ile ilgili iç mekanizmaların belgeleri burada bulunabilir.

Makaleler:

Son olarak, lütfen Accelerate'in yalnızca DeepSpeed'i entegre ettiğini unutmayın; bu nedenle DeepSpeed kullanımıyla ilgili herhangi bir sorununuz veya sorunuz varsa, lütfen DeepSpeed GitHub'da bir sorun (issue) açın.

FSDP ve DeepSpeed arasındaki benzerlikler ve farklılıklarla ilgilenenler için lütfen buradaki kavram kılavuzuna göz atın!

Update on GitHub