Accelerate documentation

DeepSpeed

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

DeepSpeed

يُنفّذ DeepSpeed كل ما ورد في ورقة ZeRO. ومن أبرز التحسينات:

  1. تقسيم حالة المُحسِّن (مرحلة ZeRO 1)
  2. تقسيم التدرّجات (مرحلة ZeRO 2)
  3. تقسيم المعاملات (مرحلة ZeRO 3)
  4. التعامل المخصص مع التدريب بدقة مختلطة
  5. مجموعة من المُحسِّنات السريعة القائمة على امتدادات CUDA
  6. ZeRO-Offload إلى وحدة المعالجة المركزية والقرص/NVMe
  7. التقسيم الهرميسي لمعاملات النموذج (ZeRO++)

يتمتع ZeRO-Offload ببحث مخصص له: ZeRO-Offload: Democratizing Billion-Scale Model Training. كما أن دعم NVMe موصوف في البحث ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning.

يُستخدم DeepSpeed ZeRO-2 بشكل أساسي للتدريب فقط، حيث أن ميزاته لا فائدة منها في الاستدلال.

يمكن استخدام DeepSpeed ZeRO-3 للاستدلال أيضًا، إذ يتيح تحميل نماذج ضخمة على عدة وحدات معالجة رسومية، وهو ما لا يمكن تحقيقه على وحدة معالجة رسومية واحدة.

يتكامل Accelerate مع DeepSpeed عبر خيارين:

  1. تكامل ميزات DeepSpeed من خلال تحديد deepspeed config file في accelerate config . يكفي أن تزوّدنا بملف الإعداد المخصص لك أو تستخدم قالبنا. يركّز معظم هذا المستند على هذه الميزة. تدعم هذه الميزة جميع الميزات الأساسية لـ DeepSpeed وتمنح المستخدم مرونة كبيرة. قد يضطر المستخدم إلى تعديل بضعة أسطر من الكود اعتمادًا على ملف الإعداد.
  2. التكامل عبر deepspeed_plugin. يدعم هذا الخيار مجموعة فرعية من ميزات DeepSpeed ويستخدم الإعدادات الافتراضية لبقية التكوينات. لا يحتاج المستخدم إلى تغيير أي كود، وهو مناسب لأولئك الذين يرضون عن معظم الإعدادات الافتراضية لـ DeepSpeed.

ما الذي تم دمجه؟

التدريب:

  1. تدمج Accelerate جميع ميزات DeepSpeed ZeRO. ويشمل ذلك جميع مراحل ZeRO 1 و 2 و 3، بالإضافة إلى ZeRO-Offload و ZeRO-Infinity (التي يمكنها تفريغ البيانات إلى القرص/NVMe) و ZeRO++. فيما يلي وصف موجز لتوازي البيانات باستخدام ZeRO - Zero Redundancy Optimizer، مع مخطط من هذا منشور مدونة ZeRO Data Parallelism

(المصدر: رابط)

أ. المرحلة 1 : تقسيم حالات المُحسِّن على العمال/وحدات معالجة الرسوميات المتوازية في البيانات

ب. المرحلة 2 : تقسيم حالات المُحسِّن والتدرجات عبر عمّال/وحدات معالجة الرسوميات المتوازية للبيانات

c. المرحلة 3: تقسيم حالات المُحسِّن والتدرجات ومعاملات النموذج على العمال/وحدات معالجة الرسوميات المتوازية للبيانات

د. إسناد المُحسِّن (Optimizer Offload): يُسند التدرّجات + حالات المُحسِّن إلى وحدة المعالجة المركزية/القرص، مبنياً على مرحلة ZERO 2

e. Param Offload: ينقل معاملات النموذج إلى وحدة المعالجة المركزية/القرص، مبنياً على مرحلة ZERO Stage 3

f. التقسيم الهرمي: يتيح تدريبًا متعدد العقد بكفاءة عالية من خلال التدريب المتوازي على مستوى البيانات عبر العقد، وتجزئة ZeRO-3 داخل كل عقدة، وهو مبني على أساس ZeRO Stage 3.

Note: With respect to Disk Offload, the disk should be an NVME for decent speed but it technically works on any Disk

الاستدلال:

  1. يدعم DeepSpeed ZeRO Inference المرحلة 3 من ZeRO مع ZeRO-Infinity. يستخدم بروتوكول ZeRO نفسه المستخدم في التدريب، لكنه لا يستخدم مُحسِّنًا أو مُجدولًا لمعدل التعلم، ولا تُعنى سوى المرحلة 3. لمزيد من التفاصيل راجع: ZeRO Inference.

كيف يعمل؟

المتطلبات المسبقة: ثبّت إصدار DeepSpeed >=0.6.5. يُرجى الرجوع إلى تفاصيل تثبيت DeepSpeed لمزيد من المعلومات.

سنبدأ أولاً بالنظر في التكامل السهل الاستخدام عبر accelerate config. ثم نتبعه بتكامل deepspeed config file الأكثر مرونة وغنى بالمزايا.

إضافة DeepSpeed في Accelerate

على جهازك أو أجهزتك، ما عليك سوى تشغيل:

accelerate config

والإجابة على الأسئلة المطروحة. سيُسأل عما إذا كنت ترغب في استخدام ملف إعدادات لـ DeepSpeed، فيجب أن تجيب بـ «لا». ثم أجب عن الأسئلة التالية لتوليد إعداد أساسي لـ DeepSpeed. سيؤدي هذا إلى توليد ملف إعدادات سيُستخدم تلقائيًا لضبط الخيارات الافتراضية بشكل صحيح عند

accelerate launch my_script.py --args_to_my_script

على سبيل المثال، إليك كيفية تشغيل مثال معالجة اللغة الطبيعية examples/nlp_example.py (من جذر المستودع) باستخدام DeepSpeed Plugin:

مثال على إضافة DeepSpeed لمرحلة ZeRO-2

compute_environment: LOCAL_MACHINE
deepspeed_config:
 gradient_accumulation_steps: 1
 gradient_clipping: 1.0
 offload_optimizer_device: none
 offload_param_device: none
 zero3_init_flag: true
 zero_stage: 2
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
accelerate launch examples/nlp_example.py --mixed_precision fp16

مثال على إضافة DeepSpeed مع ZeRO Stage-3 وإزاحة المعالجة إلى وحدة المعالجة المركزية

compute_environment: LOCAL_MACHINE
deepspeed_config:
  gradient_accumulation_steps: 1
  gradient_clipping: 1.0
  offload_optimizer_device: cpu
  offload_param_device: cpu
  zero3_init_flag: true
  zero3_save_16bit_model: true
  zero_stage: 3
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
accelerate launch examples/nlp_example.py --mixed_precision fp16

حاليًا، يدعم Accelerate الإعدادات التالية عبر سطر الأوامر:

`zero_stage`: [0] Disabled, [1] optimizer state partitioning, [2] optimizer+gradient state partitioning and [3] optimizer+gradient+parameter partitioning
`gradient_accumulation_steps`: Number of training steps to accumulate gradients before averaging and applying them.
`gradient_clipping`: Enable gradient clipping with value.
`offload_optimizer_device`: [none] Disable optimizer offloading, [cpu] offload optimizer to CPU, [nvme] offload optimizer to NVMe SSD. Only applicable with ZeRO >= Stage-2.
`offload_optimizer_nvme_path`: Decides Nvme Path to offload optimizer states. If unspecified, will default to 'none'.
`offload_param_device`: [none] Disable parameter offloading, [cpu] offload parameters to CPU, [nvme] offload parameters to NVMe SSD. Only applicable with ZeRO Stage-3.
`offload_param_nvme_path`: Decides Nvme Path to offload parameters. If unspecified, will default to 'none'.
`zero3_init_flag`: Decides whether to enable `deepspeed.zero.Init` for constructing massive models. Only applicable with ZeRO Stage-3.
`zero3_save_16bit_model`: Decides whether to save 16-bit model weights when using ZeRO Stage-3.
`mixed_precision`: `no` for FP32 training, `fp16` for FP16 mixed-precision training and `bf16` for BF16 mixed-precision training.
`deepspeed_moe_layer_cls_names`: Comma-separated list of transformer Mixture-of-Experts (MoE) layer class names (case-sensitive) to wrap ,e.g, `MixtralSparseMoeBlock`, `Qwen2MoeSparseMoeBlock`, `JetMoEAttention,JetMoEBlock` ...
`deepspeed_hostfile`: DeepSpeed hostfile for configuring multi-node compute resources.
`deepspeed_exclusion_filter`: DeepSpeed exclusion filter string when using mutli-node setup.
`deepspeed_inclusion_filter`: DeepSpeed inclusion filter string when using mutli-node setup.
`deepspeed_multinode_launcher`: DeepSpeed multi-node launcher to use, e.g. `pdsh`, `standard`, `openmpi`, `mvapich`, `mpich`, `slurm`, `nossh` (requires DeepSpeed >= 0.14.5). If unspecified, will default to `pdsh`.
`deepspeed_config_file`: path to the DeepSpeed config file in `json` format. See the next section for more details on this.

لتمكينك من ضبط المزيد من الخيارات، ستحتاج إلى استخدام ملف إعدادات DeepSpeed.

ملف إعدادات DeepSpeed

على جهازك أو أجهزتك، ما عليك سوى تشغيل:

accelerate config

والإجابة على الأسئلة المطروحة. سيُسأل عما إذا كنت ترغب في استخدام ملف إعدادات لـ DeepSpeed، فتجيب بنعم وتوفر المسار إلى ملف إعدادات DeepSpeed. سيؤدي هذا إلى إنشاء ملف إعدادات سيُستخدم تلقائيًا لضبط الخيارات الافتراضية بشكل صحيح عند القيام

accelerate launch my_script.py --args_to_my_script

على سبيل المثال، إليك كيفية تشغيل مثال معالجة اللغة الطبيعية examples/by_feature/deepspeed_with_config_support.py (من جذر المستودع) باستخدام ملف إعدادات DeepSpeed:

مثال على ملف إعدادات DeepSpeed لمرحلة ZeRO-2

compute_environment: LOCAL_MACHINE
deepspeed_config:
 deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage2_config.json
 zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false

بمحتوى zero_stage2_config.json كالتالي:

{
    "fp16": {
        "enabled": true,
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "weight_decay": "auto",
            "torch_adam": true,
            "adam_w_mode": true
        }
    },
    "scheduler": {
        "type": "WarmupDecayLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto",
            "total_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 2,
        "allgather_partitions": true,
        "allgather_bucket_size": 2e8,
        "overlap_comm": true,
        "reduce_scatter": true,
        "reduce_bucket_size": "auto",
        "contiguous_gradients": true
    },
    "gradient_accumulation_steps": 1,
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage2_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 24 \
--per_device_eval_batch_size 24 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\

مثال على ملف إعدادات DeepSpeed لـ ZeRO Stage-3 مع إزاحة المعالج إلى وحدة المعالجة المركزية

compute_environment: LOCAL_MACHINE
deepspeed_config:
 deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage3_offload_config.json
 zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false

بمحتوى zero_stage3_offload_config.json كالتالي:

{
    "fp16": {
        "enabled": true,
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "weight_decay": "auto"
        }
    },
    "scheduler": {
        "type": "WarmupDecayLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto",
            "total_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        },
        "overlap_comm": true,
        "contiguous_gradients": true,
        "reduce_bucket_size": "auto",
        "stage3_prefetch_bucket_size": "auto",
        "stage3_param_persistence_threshold": "auto",
        "sub_group_size": 1e9,
        "stage3_max_live_parameters": 1e9,
        "stage3_max_reuse_distance": 1e9,
        "stage3_gather_16bit_weights_on_model_save": "auto"
    },
    "gradient_accumulation_steps": 1,
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage3_offload_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 32 \
--per_device_eval_batch_size 32 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\

مثال على إعداد ZeRO++ يمكنك استخدام ميزات ZeRO++ من خلال استخدام معاملات الإعداد المناسبة. لاحظ أن ZeRO++ هو امتداد لمرحلة ZeRO 3. فيما يلي كيفية تعديل ملف الإعداد، من دليل ZeRO++ الخاص بـ DeepSpeed:

{
    "zero_optimization": {
        "stage": 3,
        "reduce_bucket_size": "auto",

        "zero_quantized_weights": true,
        "zero_hpz_partition_size": 8,
        "zero_quantized_gradients": true,

        "contiguous_gradients": true,
        "overlap_comm": true
    }
}

في التقسيم الهرمي، يجب أن يُضبط حجم التقسيم zero_hpz_partition_size بشكل مثالي على عدد وحدات معالجة الرسومات في كل عقدة. (على سبيل المثال، يفترض ملف الإعداد أعلاه وجود 8 وحدات معالجة رسومات في كل عقدة)

التغييرات المهمة في الكود عند استخدام ملف إعدادات DeepSpeed

  1. محسّنات DeepSpeed ومجدولاتها. لمزيد من المعلومات حول هذه، راجع وثائق DeepSpeed Optimizers و DeepSpeed Schedulers. سننظر في التغييرات المطلوبة في الكود عند استخدام هذه.

    أ. DS Optim + DS Scheduler: الحالة التي يكون فيها كلا المفتاحين optimizer وscheduler موجودين في ملف إعدادات DeepSpeed. في هذه الحالة، سيتم استخدامهما، وعلى المستخدم استخدام accelerate.utils.DummyOptim وaccelerate.utils.DummyScheduler لاستبدال محسّنات ومجدولات PyTorch/المخصصة في الكود الخاص به. فيما يلي مقتطف من examples/by_feature/deepspeed_with_config_support.py يوضح ذلك:

     # Creates Dummy Optimizer if `optimizer` was specified in the config file else creates Adam Optimizer
     optimizer_cls = (
         torch.optim.AdamW
         if accelerator.state.deepspeed_plugin is None
         or "optimizer" not in accelerator.state.deepspeed_plugin.deepspeed_config
         else DummyOptim
     )
     optimizer = optimizer_cls(optimizer_grouped_parameters, lr=args.learning_rate)
    
     # Creates Dummy Scheduler if `scheduler` was specified in the config file else creates `args.lr_scheduler_type` Scheduler
     if (
         accelerator.state.deepspeed_plugin is None
         or "scheduler" not in accelerator.state.deepspeed_plugin.deepspeed_config
     ):
         lr_scheduler = get_scheduler(
             name=args.lr_scheduler_type,
             optimizer=optimizer,
             num_warmup_steps=args.num_warmup_steps,
             num_training_steps=args.max_train_steps,
         )
     else:
         lr_scheduler = DummyScheduler(
             optimizer, total_num_steps=args.max_train_steps, warmup_num_steps=args.num_warmup_steps
         )

    ب. مُحسِّن مخصص + مُجدوِل مخصص: الحالة التي يكون فيها كلا المفتاحين optimizer وscheduler غائبين في ملف إعدادات DeepSpeed. في هذه الحالة، لا يحتاج المستخدم إلى إجراء أي تغييرات على الكود، وهذا هو الحال عند استخدام التكامل عبر DeepSpeed Plugin. في المثال أعلاه، يمكننا ملاحظة أن الكود يبقى دون تغيير إذا كان المفتاحان optimizer وscheduler غائبين في ملف إعدادات DeepSpeed.

    c. مُحسِّن مخصص + مُجدول DeepSpeed: الحالة التي يكون فيها مفتاح scheduler فقط موجودًا في ملف إعدادات DeepSpeed. في هذه الحالة، يجب على المستخدم استخدام accelerate.utils.DummyScheduler لاستبدال المُجدول الخاص بـ PyTorch/المخصص في كوده.

    d. DS Optim + Custom Scheduler: الحالة التي يكون فيها مفتاح optimizer فقط موجودًا في ملف إعدادات DeepSpeed. سيؤدي هذا إلى حدوث خطأ لأنك لا تستطيع استخدام DS Scheduler إلا عند استخدام DS Optim.

  2. لاحظ قيم auto في ملفات إعداد DeepSpeed أعلاه. يتم التعامل مع هذه القيم تلقائيًا بواسطة طريقة prepare بناءً على النموذج، ومحمّلات البيانات، والمُحسِّن الوهمي، والمجدوِلات الوهمية المُقدَّمة إلى طريقة prepare. فقط حقول auto المُحدَّدة في الأمثلة أعلاه هي التي تتعامل معها طريقة prepare، بينما يجب على المستخدم تحديد الباقي صراحةً.

تُحسب قيم auto على النحو التالي:

  • reduce_bucket_size: hidden_size * hidden_size
  • stage3_prefetch_bucket_size: int(0.9 * hidden_size * hidden_size)
  • stage3_param_persistence_threshold: 10 * hidden_size

لكي تعمل ميزة auto مع هذه الإدخالات الثلاثة في الإعدادات، سيقوم Accelerate باستخدام model.config.hidden_size أو max(model.config.hidden_sizes) كقيمة لـ hidden_size. إذا لم يتوفر أيٌّ من هذين الخيارين، فسيفشل بدء التشغيل وستضطر إلى تعيين هذه الإدخالات الثلاثة يدويًا. تذكّر أن الإدخالين الأولين في الإعدادات هما مخبّات الاتصال؛ فكلما كانت أكبر، زادت كفاءة الاتصالات، وكلما كانت أكبر، زادت ذاكرة GPU التي تستهلكها، لذا فهي موازنة أداء قابلة للضبط.

ملاحظات عند استخدام ملف إعدادات DeepSpeed

فيما يلي مثال على سكربت يستخدم deepspeed_config_file في سيناريوهات مختلفة.

الكود test.py:

from accelerate import Accelerator
from accelerate.state import AcceleratorState


def main():
    accelerator = Accelerator()
    accelerator.print(f"{AcceleratorState()}")


if __name__ == "__main__":
    main()

السيناريو 1: ملف إعدادات accelerate معدّل يدويًا يحتوي على deepspeed_config_file إلى جانب إدخالات أخرى.

  1. محتوى إعداد accelerate:
command_file: null
commands: null
compute_environment: LOCAL_MACHINE
deepspeed_config:
  gradient_accumulation_steps: 1
  gradient_clipping: 1.0
  offload_optimizer_device: 'cpu'
  offload_param_device: 'cpu'
  zero3_init_flag: true
  zero3_save_16bit_model: true
  zero_stage: 3
  deepspeed_config_file: 'ds_config.json'
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
gpu_ids: null
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_name: null
tpu_zone: null
use_cpu: false
  1. ds_config.json:
{
    "bf16": {
        "enabled": true
    },
    "zero_optimization": {
        "stage": 3,
        "stage3_gather_16bit_weights_on_model_save": false,
        "offload_optimizer": {
            "device": "none"
        },
        "offload_param": {
            "device": "none"
        }
    },
    "gradient_clipping": 1.0,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": 10,
    "steps_per_print": 2000000
}
  1. مخرجات accelerate launch test.py:
ValueError: When using `deepspeed_config_file`, the following accelerate config variables will be ignored:
['gradient_accumulation_steps', 'gradient_clipping', 'zero_stage', 'offload_optimizer_device', 'offload_param_device',
'zero3_save_16bit_model', 'mixed_precision'].
Please specify them appropriately in the DeepSpeed config file.
If you are using an accelerate config file, remove other config variables mentioned in the above specified list.
The easiest method is to create a new config following the questionnaire via `accelerate config`.
It will only ask for the necessary config variables when using `deepspeed_config_file`.

السيناريو 2: استخدم حل الخطأ لإنشاء تكوين جديد لـ accelerate وتحقق من عدم ظهور خطأ الغموض الآن.

  1. شغّل accelerate config:
$ accelerate config
-------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
multi-GPU
How many different machines will you use (use more than 1 for multi-node training)? [1]:
Do you wish to optimize your script with torch dynamo?[yes/NO]:
Do you want to use DeepSpeed? [yes/NO]: yes
Do you want to specify a json file to a DeepSpeed config? [yes/NO]: yes
Please enter the path to the json DeepSpeed config file: ds_config.json
Do you want to enable `deepspeed.zero.Init` when using ZeRO Stage-3 for constructing massive models? [yes/NO]: yes
How many GPU(s) should be used for distributed training? [1]:4
accelerate configuration saved at ds_config_sample.yaml
  1. محتوى إعداد accelerate:
compute_environment: LOCAL_MACHINE
deepspeed_config:
  deepspeed_config_file: ds_config.json
  zero3_init_flag: true
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
machine_rank: 0
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 4
rdzv_backend: static
same_network: true
use_cpu: false
  1. مخرجات accelerate launch test.py:
Distributed environment: DEEPSPEED  Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: bf16
ds_config: {'bf16': {'enabled': True}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': False, 'offload_optimizer': {'device': 'none'}, 'offload_param': {'device': 'none'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 10, 'steps_per_print': inf, 'fp16': {'enabled': False}}

السيناريو 3: ضبط معاملات أمر accelerate launch المتعلقة بـ DeepSpeed على "auto" في ملف إعدادات DeepSpeed والتحقق من أن الأمور تعمل كما هو متوقع.

  1. ملف ds_config.json جديد يحتوي على "auto" لحجج أمر accelerate launch الخاص بـ DeepSpeed:
{
    "bf16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": "auto",
        "stage3_gather_16bit_weights_on_model_save": "auto",
        "offload_optimizer": {
            "device": "auto"
        },
        "offload_param": {
            "device": "auto"
        }
    },
    "gradient_clipping": "auto",
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": "auto",
    "steps_per_print": 2000000
}
  1. مخرجات accelerate launch --mixed_precision="fp16" --zero_stage=3 --gradient_accumulation_steps=5 --gradient_clipping=1.0 --offload_param_device="cpu" --offload_optimizer_device="nvme" --zero3_save_16bit_model="true" test.py:
Distributed environment: DEEPSPEED  Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: fp16
ds_config: {'bf16': {'enabled': False}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': True, 'offload_optimizer': {'device': 'nvme'}, 'offload_param': {'device': 'cpu'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 5, 'steps_per_print': inf, 'fp16': {'enabled': True, 'auto_cast': True}}

ملاحظة:

  1. تُعالَج قيم "auto" المتبقية في استدعاء accelerator.prepare() كما هو موضح في النقطة 2 من Important code changes when using DeepSpeed Config File.
  2. يتم استخدام القيمة المُمررة أثناء إنشاء كائن Accelerator عبر Accelerator(gradient_accumulation_steps=k) فقط عندما تكون gradient_accumulation_steps هي auto. عند استخدام DeepSpeed Plugin، سيتم استخدام القيمة منه وستتجاوز القيمة المُمررة أثناء إنشاء كائن Accelerator.

الحفظ والتحميل

  1. لا يتغير حفظ النماذج وتحميلها في حالتي ZeRO Stage-1 وStage-2.

  2. في إطار ZeRO Stage-3، يحتوي state_dict على العناوين الوهمية فقط، لأن أوزان النموذج مقسمة على عدة وحدات معالجة رسومية. يوفر ZeRO Stage-3 خيارين:

    a. حفظ أوزان النموذج الكامل بدقة 16 بت لتحميلها مباشرةً لاحقًا باستخدام model.load_state_dict(torch.load(pytorch_model.bin)). لذلك، إما اضبط zero_optimization.stage3_gather_16bit_weights_on_model_save على True في ملف إعدادات DeepSpeed، أو اضبط zero3_save_16bit_model على True في إضافة DeepSpeed. يرجى ملاحظة أن هذا الخيار يتطلب تجميع الأوزان على وحدة معالجة رسومية واحدة، وقد يكون بطيئًا ومستهلكًا للذاكرة، لذا استخدم هذه الميزة فقط عند الحاجة. فيما يلي مقتطف من examples/by_feature/deepspeed_with_config_support.py يوضح ذلك:

    unwrapped_model = accelerator.unwrap_model(model)
    
    # New Code #
    # Saves the whole/unpartitioned fp16 model when in ZeRO Stage-3 to the output directory if
    # `stage3_gather_16bit_weights_on_model_save` is True in DeepSpeed Config file or
    # `zero3_save_16bit_model` is True in DeepSpeed Plugin.
    # For Zero Stages 1 and 2, models are saved as usual in the output directory.
    # The model name saved is `pytorch_model.bin`
    unwrapped_model.save_pretrained(
        args.output_dir,
        is_main_process=accelerator.is_main_process,
        save_function=accelerator.save,
        state_dict=accelerator.get_state_dict(model),
    )

    b. للحصول على أوزان بدقة 32 بت، احفظ النموذج أولاً باستخدام model.save_checkpoint(). فيما يلي مقتطف من examples/by_feature/deepspeed_with_config_support.py يوضح ذلك:

    success = model.save_checkpoint(PATH, ckpt_id, checkpoint_state_dict)
    status_msg = f"checkpointing: PATH={PATH}, ckpt_id={ckpt_id}"
    if success:
        logging.info(f"Success {status_msg}")
    else:
        logging.warning(f"Failure {status_msg}")

    سيؤدي هذا إلى إنشاء أقسام لنموذج ZeRO والمُحسِّن (optimizer) إلى جانب سكربت zero_to_fp32.py في مجلد نقطة التفتيش (checkpoint). يمكنك استخدام هذا السكربت لإجراء الدمج (consolidation) دون اتصال. لا يتطلب ملفات إعداد أو وحدات معالجة رسومية (GPUs). فيما يلي مثال على استخدامه:

    $ cd /path/to/checkpoint_dir
    $ ./zero_to_fp32.py . pytorch_model.bin
    Processing zero checkpoint at global_step1
    Detected checkpoint of type zero stage 3, world_size: 2
    Saving fp32 state dict to pytorch_model.bin (total_numel=60506624)

    للحصول على نموذج 32bit للحفظ/الاستدلال، يمكنك تنفيذ ما يلي:

    from deepspeed.utils.zero_to_fp32 import load_state_dict_from_zero_checkpoint
    
    unwrapped_model = accelerator.unwrap_model(model)
    fp32_model = load_state_dict_from_zero_checkpoint(unwrapped_model, checkpoint_dir)

    إذا كنت مهتمًا فقط بـstate_dict، يمكنك القيام بما يلي:

    from deepspeed.utils.zero_to_fp32 import get_fp32_state_dict_from_zero_checkpoint
    
    state_dict = get_fp32_state_dict_from_zero_checkpoint(checkpoint_dir)

    لاحظ أن جميع هذه الدوال تتطلب ذاكرة (ذاكرة عشوائية عامة) بحجم ضعف حجم نقطة التفتيش النهائية.

ZeRO Inference

يدعم DeepSpeed ZeRO Inference المرحلة 3 من ZeRO مع ZeRO-Infinity. يستخدم بروتوكول ZeRO نفسه المستخدم في التدريب، لكنه لا يستخدم مُحسِّنًا أو مُجدولًا لمعدل التعلم، ولا تُعنى سوى المرحلة 3. مع تكامل accelerate، ما عليك سوى تجهيز النموذج وحمّال البيانات كما هو موضح أدناه:

model, eval_dataloader = accelerator.prepare(model, eval_dataloader)

بعض التحذيرات التي يجب الانتباه إليها

  1. لا تدعم التكامل الحالي موازاة خط الأنابيب (Pipeline Parallelism) في DeepSpeed.
  2. لا تدعم التكامل الحالي mpu، مما يحد من توازي الموترات المدعوم في Megatron-LM.
  3. لا تدعم التكامل الحالي عدة نماذج.

DeepSpeed متعدد العقد

يدعم DeepSpeed الاستدلال والتدريب متعدد العقد عبر مجموعة متنوعة من برامج الإقلاع المختلفة. يمكنك تحديد برنامج إقلاع مختلف عن طريق تعيين إعداد deepspeed_multinode_launcher في سطر الأوامر أو في ملف إعداد DeepSpeed.

حاليًا، يدعم accelerate تمرير الإعدادات لمُشغِّلات DeepSpeed متعددة العقد التالية: pdsh (الافتراضي)، standard، openmpi، mvapich، mpich، slurm، nossh (يتطلب DeepSpeed >= 0.14.5).

يرجى الاطلاع على توثيق DeepSpeed لمزيد من المعلومات حول المُشغِّلات المختلفة. افتراضيًا، سيحاول DeepSpeed استخدام SSH بدون كلمة مرور من عقدة الجهاز الرئيسية إلى العقد الأخرى لتنفيذ أمر المُشغِّل. في هذا التكوين، لا يحتاج أمر accelerate launch إلى التشغيل إلا على العقدة الرئيسية. أما عند استخدام مُشغِّل nossh، فستحتاج إلى تشغيل أمر accelerate launch على كل عقدة باستخدام إعدادات منسوخة.

موارد DeepSpeed

يمكن العثور على التوثيق الخاص بالبنية الداخلية المتعلقة بـ DeepSpeed هنا.

الأوراق البحثية:

أخيرًا، تذكّر أن Accelerate يدمج DeepSpeed فقط، لذلك إذا كانت لديك أي مشاكل أو أسئلة تتعلق باستخدام DeepSpeed، فيرجى فتح مشكلة في DeepSpeed GitHub.

للمهتمين بالتشابهات والاختلافات بين FSDP وDeepSpeed، يرجى الاطلاع على دليل المفاهيم هنا!

Update on GitHub