# DeepSpeed

يُنفّذ [DeepSpeed](https://github.com/deepspeedai/DeepSpeed) كل ما ورد في [ورقة ZeRO](https://huggingface.co/papers/1910.02054). ومن أبرز التحسينات:

1. تقسيم حالة المُحسِّن (مرحلة ZeRO 1)
2. تقسيم التدرّجات (مرحلة ZeRO 2)
3. تقسيم المعاملات (مرحلة ZeRO 3)
4. التعامل المخصص مع التدريب بدقة مختلطة
5. مجموعة من المُحسِّنات السريعة القائمة على امتدادات CUDA
6. ZeRO-Offload إلى وحدة المعالجة المركزية والقرص/NVMe
7. التقسيم الهرميسي لمعاملات النموذج (ZeRO++)

يتمتع ZeRO-Offload ببحث مخصص له: [ZeRO-Offload: Democratizing Billion-Scale Model Training](https://huggingface.co/papers/2101.06840). كما أن دعم NVMe موصوف في البحث [ZeRO-Infinity: Breaking the GPU Memory Wall for Extreme Scale Deep Learning](https://huggingface.co/papers/2104.07857).

يُستخدم DeepSpeed ZeRO-2 بشكل أساسي للتدريب فقط، حيث أن ميزاته لا فائدة منها في الاستدلال.

يمكن استخدام DeepSpeed ZeRO-3 للاستدلال أيضًا، إذ يتيح تحميل نماذج ضخمة على عدة وحدات معالجة رسومية، وهو ما لا يمكن تحقيقه على وحدة معالجة رسومية واحدة.

يتكامل [Accelerate](https://github.com/deepspeedai/DeepSpeed) مع DeepSpeed عبر خيارين:

1. تكامل ميزات DeepSpeed من خلال تحديد `deepspeed config file` في `accelerate config` . يكفي أن تزوّدنا بملف الإعداد المخصص لك أو تستخدم قالبنا. يركّز معظم هذا المستند على هذه الميزة. تدعم هذه الميزة جميع الميزات الأساسية لـ DeepSpeed وتمنح المستخدم مرونة كبيرة. قد يضطر المستخدم إلى تعديل بضعة أسطر من الكود اعتمادًا على ملف الإعداد.
2. التكامل عبر `deepspeed_plugin`. يدعم هذا الخيار مجموعة فرعية من ميزات DeepSpeed ويستخدم الإعدادات الافتراضية لبقية التكوينات. لا يحتاج المستخدم إلى تغيير أي كود، وهو مناسب لأولئك الذين يرضون عن معظم الإعدادات الافتراضية لـ DeepSpeed.

## ما الذي تم دمجه؟

التدريب:

1. تدمج Accelerate جميع ميزات DeepSpeed ZeRO. ويشمل ذلك جميع مراحل ZeRO 1 و 2 و 3، بالإضافة إلى ZeRO-Offload و ZeRO-Infinity (التي يمكنها تفريغ البيانات إلى القرص/NVMe) و ZeRO++.
فيما يلي وصف موجز لتوازي البيانات باستخدام ZeRO - Zero Redundancy Optimizer، بالإضافة إلى مخطط من هذا [منشور مدونة](https://www.microsoft.com/en-us/research/blog/zero-deepspeed-new-system-optimizations-enable-training-models-with-over-100-billion-parameters/) ![ZeRO Data Parallelism](https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/parallelism-zero.png)

(المصدر: [رابط](https://www.microsoft.com/en-us/research/blog/zero-deepspeed-new-system-optimizations-enable-training-models-with-over-100-billion-parameters/))

 أ. **المرحلة 1** : تقسيم حالات المُحسِّن على العمال/وحدات معالجة الرسوميات المتوازية في البيانات

 ب. **المرحلة 2** : تقسيم حالات المُحسِّن والتدرجات عبر عمّال/وحدات معالجة الرسوميات المتوازية للبيانات

 c. **المرحلة 3**: تقسيم حالات المُحسِّن والتدرجات ومعاملات النموذج على العمال/وحدات معالجة الرسوميات المتوازية للبيانات

 د. **إسناد المُحسِّن (Optimizer Offload)**: يُسند التدرّجات + حالات المُحسِّن إلى وحدة المعالجة المركزية/القرص، مبنياً على مرحلة ZERO 2

 e. **Param Offload**: ينقل معاملات النموذج إلى وحدة المعالجة المركزية/القرص، مبنياً على مرحلة ZERO Stage 3

 f. **التقسيم الهرمي**: يتيح تدريبًا متعدد العقد بكفاءة عالية من خلال التدريب المتوازي على مستوى البيانات عبر العقد، وتجزئة ZeRO-3 داخل كل عقدة، وهو مبني على أساس ZeRO Stage 3.

ملاحظة: فيما يتعلق بـ Disk Offload، ينبغي أن يكون القرص من نوع NVME للحصول على سرعة معقولة، لكنه يعمل تقنياً على أي قرص.

الاستدلال:

1. يدعم DeepSpeed ZeRO Inference المرحلة 3 من ZeRO مع ZeRO-Infinity. يستخدم بروتوكول ZeRO نفسه المستخدم في التدريب، لكنه لا يستخدم مُحسِّنًا أو مُجدولًا لمعدل التعلم، ولا تُعنى سوى المرحلة 3. لمزيد من التفاصيل راجع: [ZeRO Inference](#zero-inference).

## كيف يعمل؟

**المتطلبات المسبقة**: ثبّت إصدار DeepSpeed >=0.6.5. يُرجى الرجوع إلى [تفاصيل تثبيت DeepSpeed](https://github.com/deepspeedai/DeepSpeed#installation) لمزيد من المعلومات.

سنبدأ أولاً بالنظر في التكامل السهل الاستخدام عبر `accelerate config`. يليه تكامل `deepspeed config file` الأكثر مرونة وغنى بالمزايا.

### إضافة DeepSpeed في Accelerate
على جهازك أو أجهزتك، ما عليك سوى تشغيل:

```bash
accelerate config
```

والإجابة على الأسئلة المطروحة. سيُسأل عما إذا كنت ترغب في استخدام ملف إعدادات لـ DeepSpeed، فيجب أن تجيب بـ «لا». ثم أجب عن الأسئلة التالية لتوليد إعداد أساسي لـ DeepSpeed. سيؤدي هذا إلى توليد ملف إعدادات سيُستخدم تلقائيًا لضبط الخيارات الافتراضية بشكل صحيح عند

```bash
accelerate launch my_script.py --args_to_my_script
```

على سبيل المثال، إليك كيفية تشغيل مثال معالجة اللغة الطبيعية `examples/nlp_example.py` (من جذر المستودع) باستخدام DeepSpeed Plugin:

**مثال على إضافة DeepSpeed لمرحلة ZeRO-2**
```bash
compute_environment: LOCAL_MACHINE
deepspeed_config:
 gradient_accumulation_steps: 1
 gradient_clipping: 1.0
 offload_optimizer_device: none
 offload_param_device: none
 zero3_init_flag: true
 zero_stage: 2
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
```

```bash
accelerate launch examples/nlp_example.py --mixed_precision fp16
```

**مثال على إضافة DeepSpeed مع ZeRO Stage-3 وإزاحة المعالجة إلى وحدة المعالجة المركزية**
```bash
compute_environment: LOCAL_MACHINE
deepspeed_config:
  gradient_accumulation_steps: 1
  gradient_clipping: 1.0
  offload_optimizer_device: cpu
  offload_param_device: cpu
  zero3_init_flag: true
  zero3_save_16bit_model: true
  zero_stage: 3
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
```

```bash
accelerate launch examples/nlp_example.py --mixed_precision fp16
```

حاليًا، يدعم `Accelerate` الإعدادات التالية عبر سطر الأوامر:

```bash
`zero_stage`: [0] Disabled, [1] optimizer state partitioning, [2] optimizer+gradient state partitioning and [3] optimizer+gradient+parameter partitioning
`gradient_accumulation_steps`: Number of training steps to accumulate gradients before averaging and applying them.
`gradient_clipping`: Enable gradient clipping with value.
`offload_optimizer_device`: [none] Disable optimizer offloading, [cpu] offload optimizer to CPU, [nvme] offload optimizer to NVMe SSD. Only applicable with ZeRO >= Stage-2.
`offload_optimizer_nvme_path`: Decides Nvme Path to offload optimizer states. If unspecified, will default to 'none'.
`offload_param_device`: [none] Disable parameter offloading, [cpu] offload parameters to CPU, [nvme] offload parameters to NVMe SSD. Only applicable with ZeRO Stage-3.
`offload_param_nvme_path`: Decides Nvme Path to offload parameters. If unspecified, will default to 'none'.
`zero3_init_flag`: Decides whether to enable `deepspeed.zero.Init` for constructing massive models. Only applicable with ZeRO Stage-3.
`zero3_save_16bit_model`: Decides whether to save 16-bit model weights when using ZeRO Stage-3.
`mixed_precision`: `no` for FP32 training, `fp16` for FP16 mixed-precision training and `bf16` for BF16 mixed-precision training.
`deepspeed_moe_layer_cls_names`: Comma-separated list of transformer Mixture-of-Experts (MoE) layer class names (case-sensitive) to wrap ,e.g, `MixtralSparseMoeBlock`, `Qwen2MoeSparseMoeBlock`, `JetMoEAttention,JetMoEBlock` ...
`deepspeed_hostfile`: DeepSpeed hostfile for configuring multi-node compute resources.
`deepspeed_exclusion_filter`: DeepSpeed exclusion filter string when using mutli-node setup.
`deepspeed_inclusion_filter`: DeepSpeed inclusion filter string when using mutli-node setup.
`deepspeed_multinode_launcher`: DeepSpeed multi-node launcher to use, e.g. `pdsh`, `standard`, `openmpi`, `mvapich`, `mpich`, `slurm`, `nossh` (requires DeepSpeed >= 0.14.5). If unspecified, will default to `pdsh`.
`deepspeed_config_file`: path to the DeepSpeed config file in `json` format. See the next section for more details on this.
```
لتمكينك من ضبط المزيد من الخيارات، ستحتاج إلى استخدام ملف إعدادات DeepSpeed.

### ملف إعدادات DeepSpeed
على جهازك أو أجهزتك، ما عليك سوى تشغيل:

```bash
accelerate config
```

والإجابة على الأسئلة المطروحة. سيُسأل عما إذا كنت ترغب في استخدام ملف إعدادات لـ DeepSpeed، فتجيب بنعم وتوفر المسار إلى ملف إعدادات DeepSpeed. سيؤدي هذا إلى إنشاء ملف إعدادات سيُستخدم تلقائيًا لضبط الخيارات الافتراضية بشكل صحيح عند

```bash
accelerate launch my_script.py --args_to_my_script
```

على سبيل المثال، إليك كيفية تشغيل مثال معالجة اللغة الطبيعية `examples/by_feature/deepspeed_with_config_support.py` (من جذر المستودع) باستخدام ملف إعدادات DeepSpeed:

**مثال على ملف إعدادات DeepSpeed لمرحلة ZeRO-2**
```bash
compute_environment: LOCAL_MACHINE
deepspeed_config:
 deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage2_config.json
 zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
```

بمحتوى `zero_stage2_config.json` كالتالي:
```json
{
    "fp16": {
        "enabled": true,
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "weight_decay": "auto",
            "torch_adam": true,
            "adam_w_mode": true
        }
    },
    "scheduler": {
        "type": "WarmupDecayLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto",
            "total_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 2,
        "allgather_partitions": true,
        "allgather_bucket_size": 2e8,
        "overlap_comm": true,
        "reduce_scatter": true,
        "reduce_bucket_size": "auto",
        "contiguous_gradients": true
    },
    "gradient_accumulation_steps": 1,
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
```

```bash
accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage2_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 24 \
--per_device_eval_batch_size 24 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\
```

**مثال على ملف إعدادات DeepSpeed لـ ZeRO Stage-3 مع إزاحة المعالج إلى وحدة المعالجة المركزية**
```bash
compute_environment: LOCAL_MACHINE
deepspeed_config:
 deepspeed_config_file: /home/ubuntu/accelerate/examples/deepspeed_config_templates/zero_stage3_offload_config.json
 zero3_init_flag: true
distributed_type: DEEPSPEED
fsdp_config: {}
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
mixed_precision: fp16
num_machines: 1
num_processes: 2
use_cpu: false
```
بمحتوى `zero_stage3_offload_config.json` كالتالي:
```json
{
    "fp16": {
        "enabled": true,
        "loss_scale": 0,
        "loss_scale_window": 1000,
        "initial_scale_power": 16,
        "hysteresis": 2,
        "min_loss_scale": 1
    },
    "optimizer": {
        "type": "AdamW",
        "params": {
            "lr": "auto",
            "weight_decay": "auto"
        }
    },
    "scheduler": {
        "type": "WarmupDecayLR",
        "params": {
            "warmup_min_lr": "auto",
            "warmup_max_lr": "auto",
            "warmup_num_steps": "auto",
            "total_num_steps": "auto"
        }
    },
    "zero_optimization": {
        "stage": 3,
        "offload_optimizer": {
            "device": "cpu",
            "pin_memory": true
        },
        "offload_param": {
            "device": "cpu",
            "pin_memory": true
        },
        "overlap_comm": true,
        "contiguous_gradients": true,
        "reduce_bucket_size": "auto",
        "stage3_prefetch_bucket_size": "auto",
        "stage3_param_persistence_threshold": "auto",
        "sub_group_size": 1e9,
        "stage3_max_live_parameters": 1e9,
        "stage3_max_reuse_distance": 1e9,
        "stage3_gather_16bit_weights_on_model_save": "auto"
    },
    "gradient_accumulation_steps": 1,
    "gradient_clipping": "auto",
    "steps_per_print": 2000,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "wall_clock_breakdown": false
}
```

```bash
accelerate launch examples/by_feature/deepspeed_with_config_support.py \
--config_name "gpt2-large" \
--tokenizer_name "gpt2-large" \
--dataset_name "wikitext" \
--dataset_config_name "wikitext-2-raw-v1" \
--block_size 128 \
--output_dir "./clm/clm_deepspeed_stage3_offload_accelerate" \
--learning_rate 5e-4 \
--per_device_train_batch_size 32 \
--per_device_eval_batch_size 32 \
--num_train_epochs 3 \
--with_tracking \
--report_to "wandb"\
```

**مثال على إعداد ZeRO++** يمكنك استخدام ميزات ZeRO++ من خلال استخدام معاملات الإعداد المناسبة. لاحظ أن ZeRO++ هو امتداد لمرحلة ZeRO 3. فيما يلي كيفية تعديل ملف الإعداد، من [دليل ZeRO++ الخاص بـ DeepSpeed](https://www.deepspeed.ai/tutorials/zeropp/):

```json
{
    "zero_optimization": {
        "stage": 3,
        "reduce_bucket_size": "auto",

        "zero_quantized_weights": true,
        "zero_hpz_partition_size": 8,
        "zero_quantized_gradients": true,

        "contiguous_gradients": true,
        "overlap_comm": true
    }
}
```

في التقسيم الهرمي، يجب أن يُضبط حجم التقسيم `zero_hpz_partition_size` بشكل مثالي على عدد وحدات معالجة الرسومات في كل عقدة. (على سبيل المثال، يفترض ملف الإعداد أعلاه وجود 8 وحدات معالجة رسومات في كل عقدة)

**التغييرات المهمة في الكود عند استخدام ملف إعدادات DeepSpeed**

1. مُحسِّنات ومجدولات DeepSpeed. لمزيد من المعلومات حول هذه،
راجع توثيق [DeepSpeed Optimizers](https://deepspeed.readthedocs.io/en/latest/optimizers.html) و [DeepSpeed Schedulers](https://deepspeed.readthedocs.io/en/latest/schedulers.html). سننظر في التغييرات المطلوبة في الكود عند استخدام هذه الأدوات.

   a. DS Optim + DS Scheduler: الحالة التي يكون فيها كلا المفتاحين `optimizer` و`scheduler` موجودين في ملف إعدادات DeepSpeed. في هذه الحالة، سيتم استخدامهما، وعلى المستخدم استخدام `accelerate.utils.DummyOptim` و`accelerate.utils.DummyScheduler` لاستبدال محسّنات ومجدولات PyTorch/المخصصة في كوده. فيما يلي مقتطف من `examples/by_feature/deepspeed_with_config_support.py` يوضح ذلك:
   ```python
    # Creates Dummy Optimizer if `optimizer` was specified in the config file else creates Adam Optimizer
    optimizer_cls = (
        torch.optim.AdamW
        if accelerator.state.deepspeed_plugin is None
        or "optimizer" not in accelerator.state.deepspeed_plugin.deepspeed_config
        else DummyOptim
    )
    optimizer = optimizer_cls(optimizer_grouped_parameters, lr=args.learning_rate)

    # Creates Dummy Scheduler if `scheduler` was specified in the config file else creates `args.lr_scheduler_type` Scheduler
    if (
        accelerator.state.deepspeed_plugin is None
        or "scheduler" not in accelerator.state.deepspeed_plugin.deepspeed_config
    ):
        lr_scheduler = get_scheduler(
            name=args.lr_scheduler_type,
            optimizer=optimizer,
            num_warmup_steps=args.num_warmup_steps,
            num_training_steps=args.max_train_steps,
        )
    else:
        lr_scheduler = DummyScheduler(
            optimizer, total_num_steps=args.max_train_steps, warmup_num_steps=args.num_warmup_steps
        )
   ```
   b. مُحسِّن مخصص + مُجدوِل مخصص: الحالة التي يكون فيها كلا المفتاحين `optimizer` و`scheduler` غائبين في ملف إعدادات DeepSpeed. في هذه الحالة، لا يحتاج المستخدم إلى إجراء أي تغييرات على الكود، وهذا هو الحال عند استخدام التكامل عبر DeepSpeed Plugin. في المثال أعلاه، يمكننا ملاحظة أن الكود يبقى دون تغيير إذا كان المفتاحان `optimizer` و`scheduler` غائبين في ملف إعدادات DeepSpeed.

   c. مُحسِّن مخصص + مُجدول DeepSpeed: الحالة التي يكون فيها مفتاح `scheduler` فقط موجودًا في ملف إعدادات DeepSpeed. في هذه الحالة، يجب على المستخدم استخدام `accelerate.utils.DummyScheduler` لاستبدال المُجدول الخاص بـ PyTorch/المخصص في كوده.

   d. DS Optim + Custom Scheduler: الحالة التي يكون فيها مفتاح `optimizer` فقط موجودًا في ملف إعدادات DeepSpeed. سيؤدي هذا إلى حدوث خطأ لأنك لا تستطيع استخدام DS Scheduler إلا عند استخدام DS Optim.

2. لاحظ قيم `auto` في ملفات إعداد DeepSpeed أعلاه. يتم التعامل مع هذه القيم تلقائيًا بواسطة طريقة `prepare`
بناءً على النموذج، ومحمّلات البيانات، والمُحسِّن الوهمي، ومجدوليات الوقت الوهمية المُقدَّمة إلى طريقة `prepare`. تُعالج طريقة `prepare` حقول `auto` المُحدَّدة في الأمثلة أعلاه فقط، بينما يتعيّن على المستخدم تحديد الباقي صراحةً.

تُحسب قيم `auto` على النحو التالي:

- `reduce_bucket_size`: `hidden_size * hidden_size`
- `stage3_prefetch_bucket_size`: `int(0.9 * hidden_size * hidden_size)`
- `stage3_param_persistence_threshold`: `10 * hidden_size`

لكي تعمل ميزة `auto` مع هذه الإدخالات الثلاثة في الإعدادات، سيقوم Accelerate باستخدام `model.config.hidden_size` أو `max(model.config.hidden_sizes)` كقيمة لـ `hidden_size`. إذا لم يتوفر أيٌّ من هذين الخيارين، فسيفشل الإقلاع وستضطر إلى تعيين هذه الإدخالات الثلاثة يدويًا. تذكّر أن الإدخالين الأولين في الإعدادات هما مخبّات الاتصال؛ فكلما كانت أكبر، زادت كفاءة الاتصالات، وكلما كانت أكبر، زادت ذاكرة GPU التي تستهلكها، لذا فهي مفاضلة أداء قابلة للضبط.

**ملاحظات عند استخدام ملف إعدادات DeepSpeed**

فيما يلي مثال على سكربت يستخدم `deepspeed_config_file` في سيناريوهات مختلفة.

الكود `test.py`:

```python
from accelerate import Accelerator
from accelerate.state import AcceleratorState

def main():
    accelerator = Accelerator()
    accelerator.print(f"{AcceleratorState()}")

if __name__ == "__main__":
    main()
```

**السيناريو 1**: ملف إعدادات accelerate معدّل يدويًا يحتوي على `deepspeed_config_file` إلى جانب إدخالات أخرى.

1. محتوى إعداد `accelerate`:

```yaml
command_file: null
commands: null
compute_environment: LOCAL_MACHINE
deepspeed_config:
  gradient_accumulation_steps: 1
  gradient_clipping: 1.0
  offload_optimizer_device: 'cpu'
  offload_param_device: 'cpu'
  zero3_init_flag: true
  zero3_save_16bit_model: true
  zero_stage: 3
  deepspeed_config_file: 'ds_config.json'
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
gpu_ids: null
machine_rank: 0
main_process_ip: null
main_process_port: null
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 2
rdzv_backend: static
same_network: true
tpu_name: null
tpu_zone: null
use_cpu: false
```

2. `ds_config.json`:

```json
{
    "bf16": {
        "enabled": true
    },
    "zero_optimization": {
        "stage": 3,
        "stage3_gather_16bit_weights_on_model_save": false,
        "offload_optimizer": {
            "device": "none"
        },
        "offload_param": {
            "device": "none"
        }
    },
    "gradient_clipping": 1.0,
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": 10,
    "steps_per_print": 2000000
}
```

3. مخرجات `accelerate launch test.py`:

```bash
ValueError: When using `deepspeed_config_file`, the following accelerate config variables will be ignored:
['gradient_accumulation_steps', 'gradient_clipping', 'zero_stage', 'offload_optimizer_device', 'offload_param_device',
'zero3_save_16bit_model', 'mixed_precision'].
Please specify them appropriately in the DeepSpeed config file.
If you are using an accelerate config file, remove other config variables mentioned in the above specified list.
The easiest method is to create a new config following the questionnaire via `accelerate config`.
It will only ask for the necessary config variables when using `deepspeed_config_file`.
```

**السيناريو 2**: استخدم حل الخطأ لإنشاء تكوين جديد لـ accelerate وتحقق من عدم ظهور خطأ الغموض الآن.

1. شغّل `accelerate config`:

```bash
$ accelerate config
-------------------------------------------------------------------------------------------------------------------------------
In which compute environment are you running?
This machine
-------------------------------------------------------------------------------------------------------------------------------
Which type of machine are you using?
multi-GPU
How many different machines will you use (use more than 1 for multi-node training)? [1]:
Do you wish to optimize your script with torch dynamo?[yes/NO]:
Do you want to use DeepSpeed? [yes/NO]: yes
Do you want to specify a json file to a DeepSpeed config? [yes/NO]: yes
Please enter the path to the json DeepSpeed config file: ds_config.json
Do you want to enable `deepspeed.zero.Init` when using ZeRO Stage-3 for constructing massive models? [yes/NO]: yes
How many GPU(s) should be used for distributed training? [1]:4
accelerate configuration saved at ds_config_sample.yaml
```

2. محتوى إعداد `accelerate`:

```yaml
compute_environment: LOCAL_MACHINE
deepspeed_config:
  deepspeed_config_file: ds_config.json
  zero3_init_flag: true
distributed_type: DEEPSPEED
downcast_bf16: 'no'
dynamo_backend: 'NO'
fsdp_config: {}
machine_rank: 0
main_training_function: main
megatron_lm_config: {}
num_machines: 1
num_processes: 4
rdzv_backend: static
same_network: true
use_cpu: false
```

3. مخرجات `accelerate launch test.py`:

```bash
Distributed environment: DEEPSPEED  Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: bf16
ds_config: {'bf16': {'enabled': True}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': False, 'offload_optimizer': {'device': 'none'}, 'offload_param': {'device': 'none'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 10, 'steps_per_print': inf, 'fp16': {'enabled': False}}
```

**السيناريو 3**: ضبط معاملات أمر `accelerate launch` المتعلقة بـ DeepSpeed على `"auto"` في ملف إعدادات DeepSpeed والتحقق من أن الأمور تعمل كما هو متوقع.

1. ملف `ds_config.json` جديد يحتوي على `"auto"` لحجج أمر `accelerate launch` الخاص بـ DeepSpeed:

```json
{
    "bf16": {
        "enabled": "auto"
    },
    "zero_optimization": {
        "stage": "auto",
        "stage3_gather_16bit_weights_on_model_save": "auto",
        "offload_optimizer": {
            "device": "auto"
        },
        "offload_param": {
            "device": "auto"
        }
    },
    "gradient_clipping": "auto",
    "train_batch_size": "auto",
    "train_micro_batch_size_per_gpu": "auto",
    "gradient_accumulation_steps": "auto",
    "steps_per_print": 2000000
}
```

2. مخرجات `accelerate launch --mixed_precision="fp16" --zero_stage=3 --gradient_accumulation_steps=5 --gradient_clipping=1.0 --offload_param_device="cpu" --offload_optimizer_device="nvme" --zero3_save_16bit_model="true" test.py`:

```bash
Distributed environment: DEEPSPEED  Backend: nccl
Num processes: 4
Process index: 0
Local process index: 0
Device: cuda:0
Mixed precision type: fp16
ds_config: {'bf16': {'enabled': False}, 'zero_optimization': {'stage': 3, 'stage3_gather_16bit_weights_on_model_save': True, 'offload_optimizer': {'device': 'nvme'}, 'offload_param': {'device': 'cpu'}}, 'gradient_clipping': 1.0, 'train_batch_size': 'auto', 'train_micro_batch_size_per_gpu': 'auto', 'gradient_accumulation_steps': 5, 'steps_per_print': inf, 'fp16': {'enabled': True, 'auto_cast': True}}
```

**ملاحظة**:
1. تُعالَج قيم `"auto"` المتبقية في استدعاء `accelerator.prepare()` كما هو موضح في النقطة 2 من
`Important code changes when using DeepSpeed Config File`.
2. يتم استخدام القيمة المُمررة أثناء إنشاء كائن `Accelerator` عبر `Accelerator(gradient_accumulation_steps=k)` فقط عندما تكون `gradient_accumulation_steps` هي `auto`. عند استخدام DeepSpeed Plugin، سيتم استخدام القيمة منه وستتجاوز القيمة المُمررة أثناء إنشاء كائن Accelerator.

## الحفظ والتحميل

1. لا يتغير حفظ النماذج وتحميلها في حالتي ZeRO Stage-1 وStage-2.

2. تحت ZeRO Stage-3، يحتوي `state_dict` على العناوين الوهمية فقط لأن أوزان النموذج مقسمة عبر وحدات معالجة رسومية متعددة.
يوجد خياران لـ ZeRO Stage-3:

   a. حفظ أوزان النموذج الكامل بدقة 16 بت لتحميلها مباشرةً لاحقًا باستخدام `model.load_state_dict(torch.load(pytorch_model.bin))`. لتحقيق ذلك، إما اضبط `zero_optimization.stage3_gather_16bit_weights_on_model_save` على True في ملف إعدادات DeepSpeed، أو اضبط `zero3_save_16bit_model` على True في إضافة DeepSpeed. **يرجى ملاحظة أن هذا الخيار يتطلب تجميع الأوزان على وحدة معالجة رسومية واحدة، وقد يكون بطيئًا ومستهلكًا للذاكرة، لذا استخدم هذه الميزة فقط عند الحاجة.** فيما يلي مقتطف من `examples/by_feature/deepspeed_with_config_support.py` يوضح ذلك:
   ```python
   unwrapped_model = accelerator.unwrap_model(model)

   # New Code #
   # Saves the whole/unpartitioned fp16 model when in ZeRO Stage-3 to the output directory if
   # `stage3_gather_16bit_weights_on_model_save` is True in DeepSpeed Config file or
   # `zero3_save_16bit_model` is True in DeepSpeed Plugin.
   # For Zero Stages 1 and 2, models are saved as usual in the output directory.
   # The model name saved is `pytorch_model.bin`
   unwrapped_model.save_pretrained(
       args.output_dir,
       is_main_process=accelerator.is_main_process,
       save_function=accelerator.save,
       state_dict=accelerator.get_state_dict(model),
   )
   ```

   b. للحصول على أوزان بدقة 32 بت، احفظ النموذج أولاً باستخدام `model.save_checkpoint()`. فيما يلي مقتطف من `examples/by_feature/deepspeed_with_config_support.py` يوضح ذلك:
   ```python
   success = model.save_checkpoint(PATH, ckpt_id, checkpoint_state_dict)
   status_msg = f"checkpointing: PATH={PATH}, ckpt_id={ckpt_id}"
   if success:
       logging.info(f"Success {status_msg}")
   else:
       logging.warning(f"Failure {status_msg}")
   ```
   سيؤدي هذا إلى إنشاء أقسام لنموذج ZeRO والمُحسِّن (optimizer) إلى جانب سكربت `zero_to_fp32.py` في مجلد نقطة التفتيش (checkpoint). يمكنك استخدام هذا السكربت لإجراء الدمج (consolidation) دون اتصال. لا يتطلب ملفات إعداد أو وحدات معالجة رسومية (GPUs). إليك مثالاً على استخدامه:
   ```bash
   $ cd /path/to/checkpoint_dir
   $ ./zero_to_fp32.py . pytorch_model.bin
   Processing zero checkpoint at global_step1
   Detected checkpoint of type zero stage 3, world_size: 2
   Saving fp32 state dict to pytorch_model.bin (total_numel=60506624)
   ```
   للحصول على نموذج 32bit للحفظ/الاستدلال، يمكنك تنفيذ ما يلي:
   ```python
   from deepspeed.utils.zero_to_fp32 import load_state_dict_from_zero_checkpoint

   unwrapped_model = accelerator.unwrap_model(model)
   fp32_model = load_state_dict_from_zero_checkpoint(unwrapped_model, checkpoint_dir)
   ```
   إذا كنت مهتمًا فقط بـ`state_dict`، يمكنك القيام بما يلي:
   ```python
   from deepspeed.utils.zero_to_fp32 import get_fp32_state_dict_from_zero_checkpoint

   state_dict = get_fp32_state_dict_from_zero_checkpoint(checkpoint_dir)
   ```
   لاحظ أن جميع هذه الدوال تتطلب ذاكرة (ذاكرة عشوائية عامة) بحجم ضعف حجم نقطة التفتيش النهائية.

## ZeRO Inference
يدعم DeepSpeed ZeRO Inference المرحلة 3 من ZeRO مع ZeRO-Infinity. يستخدم بروتوكول ZeRO نفسه المستخدم في التدريب، لكنه لا يستخدم مُحسِّنًا أو مُجدولًا لمعدل التعلم، ولا تُعنى سوى المرحلة 3. مع تكامل accelerate، ما عليك سوى تجهيز النموذج وحمّال البيانات كما هو موضح أدناه:

```python
model, eval_dataloader = accelerator.prepare(model, eval_dataloader)
```

## بعض التحذيرات التي يجب الانتباه إليها

1. لا تدعم التكامل الحالي موازاة خط الأنابيب (Pipeline Parallelism) في DeepSpeed.
2. لا تدعم التكامل الحالي `mpu`، مما يحد من توازي الموترات المدعوم في Megatron-LM.
3. لا تدعم التكامل الحالي عدة نماذج.

## DeepSpeed متعدد العقد
يدعم DeepSpeed الاستدلال والتدريب متعدد العقد عبر مجموعة متنوعة من برامج الإقلاع المختلفة. يمكنك تحديد برنامج إقلاع مختلف عن طريق تعيين إعداد `deepspeed_multinode_launcher` في سطر الأوامر أو في ملف إعداد DeepSpeed.

حاليًا، يدعم accelerate تمرير الإعدادات لمُشغِّلات DeepSpeed متعددة العقد التالية: `pdsh` (الافتراضي)، `standard`، `openmpi`، `mvapich`، `mpich`، `slurm`، `nossh` (يتطلب DeepSpeed >= 0.14.5).

يرجى الاطلاع على [توثيق DeepSpeed](https://www.deepspeed.ai/getting-started/#resource-configuration-multi-node) لمزيد من المعلومات حول المُشغِّلات المختلفة. افتراضيًا، سيحاول DeepSpeed استخدام SSH بدون كلمة مرور من عقدة الجهاز الرئيسية إلى العقد الأخرى لتنفيذ أمر المُشغِّل. في هذا التكوين، لا يحتاج أمر accelerate launch إلى التشغيل إلا على العقدة الرئيسية. أما عند استخدام مُشغِّل `nossh`، فستحتاج إلى تشغيل أمر accelerate launch على كل عقدة باستخدام إعدادات منسوخة.

## موارد DeepSpeed

يمكن العثور على التوثيق الخاص بالبنية الداخلية المتعلقة بـ DeepSpeed [هنا](../package_reference/deepspeed).

- [مستودع المشروع على GitHub](https://github.com/deepspeedai/DeepSpeed)
- [توثيقات الاستخدام](https://www.deepspeed.ai/getting-started/)
- [توثيق واجهة برمجة التطبيقات](https://deepspeed.readthedocs.io/en/latest/index.html)
- [منشورات المدونة](https://www.microsoft.com/en-us/research/search/?q=deepspeed)

الأوراق البحثية:

- [ZeRO: تحسينات الذاكرة نحو تدريب نماذج ذات تريليون من المعاملات](https://huggingface.co/papers/1910.02054)
- [ZeRO-Offload: ديمقراطية تدريب النماذج بمقياس المليارات](https://huggingface.co/papers/2101.06840)
- [ZeRO-Infinity: كسر حاجز ذاكرة GPU لتعلم عميق على نطاق واسع للغاية](https://huggingface.co/papers/2104.07857)
- [ZeRO++: اتصالات جماعية فائقة الكفاءة لتدريب النماذج الضخمة](https://huggingface.co/papers/2306.10209)

أخيرًا، تذكّر أن `Accelerate` يدمج DeepSpeed فقط، لذا إذا واجهت أي مشاكل أو أسئلة تتعلق باستخدام DeepSpeed، يرجى فتح مشكلة في [DeepSpeed GitHub](https://github.com/deepspeedai/DeepSpeed/issues).

    للمهتمين بالتشابهات والاختلافات بين FSDP وDeepSpeed، يرجى الاطلاع على [دليل المفاهيم هنا](../concept_guides/fsdp_and_deepspeed)!
    

