Accelerate documentation
FSDP1 ve FSDP2
FSDP1 ve FSDP2
Bu kılavuz, FSDP1 ile FSDP2 arasındaki temel farkları açıklar ve mevcut kodunuzu FSDP2 kullanacak şekilde en az değişiklikle taşımak için size yardımcı olur.
FSDP2, FSDP1'den nasıl daha iyi?
Öncelikle, FSDP1 ve FSDP2'nin içsel olarak nasıl çalıştığını anlamak ve aralarındaki farkları kavramak istiyoruz. Bu, aynı zamanda FSDP1'in sınırlamalarını ve FSDP2'nin bu sınırlamaları nasıl çözdüğünü anlamamıza da yardımcı olur.
Tek bir Layer'ın, 3 Linear katmanı içerdiğini ve 2 GPU arasında paylaştırılmak üzere FSDP ile sarıldığını ele alan bir senaryodan bahsedeceğiz.

FSDP1
Öncelikle, orijinal FSDP1'i ve getirdiği kısıtlamaları anlamamız gerekir. Her FSDP modülünü, modülün tüm parametrelerini içeren ve ardından rank'lar arasında paylaştırılan tek bir 1D tensör olan tek bir FlatParameter olarak temsil eder. Yani Layer'ı FSDP1 ile sarmalarsanız, aşağıdaki gibi bir yapı elde edersiniz:

Bir sorun fark edebilirsiniz. Tüm Layer, tek bir FlatParameter olarak düzleştirilir ve ardından bu parametre ranklar arasında parçalanır. Ancak tek bir FlatParameter nesnesi söz konusu olduğunda, metadata nasıl saklanır? Bu, kısıtlamalardan biridir. dtype, requires_grad gibi parametre başına metadata’nın düzgün bir şekilde saklanması, bazı çirkin hileler olmadan mümkün değildir.
FSDP2
Bu nedenle FSDP2 tanıtılmıştır. FlatParameter kullanmaz, bunun yerine “Distributed Tensor”ın kısaltması olan DTensor kullanır. Her DTensor temelde, ranklar arasında bölünmüş (sharded) bir torch.Tensor’i temsil eder. Orijinal torch.Tensor hakkında ve nasıl bölündüğüne dair, yerleşim türünün ne olduğu gibi metadata içerir. Bu yüzden per-parameter sharding olarak adlandırılır. Aşağıdaki şekil farkı göstermektedir:

Orijinal Layer'in her Parameter'i 0. boyut boyunca parçalanır ve 2 GPU arasında bölünür. Şimdi, her Linear katmanı ayrı bir DTensor'dür ve parametre başına metadata saklamak mümkündür ve doğrudandır.
Yukarıdaki görüntüde, tensörler ekran üzerinde görüntünün sığması amacıyla 1. boyut boyunca parçalanmıştır; gerçekte ise yukarıda belirtildiği üzere 0. boyut boyunca parçalanırlar.
FSDP2 neler sunar?
FSDP2, PyTorch’un tamamen parçalı veri paralel eğitim API’sinin yeni ve geliştirilmiş bir sürümüdür. Temel avantajı, parçalı parametreleri temsil etmek için DTensor kullanmasıdır. FSDP1 ile karşılaştırıldığında şunları sunar:
- Daha basit dahili uygulama, burada her
Parameterayrı birDTensor'dir - Yukarıdaki özellik sayesinde basit kısmi parametre dondurmayı mümkün kılar; bu da
LORAgibi yöntemlerin hazır olarak çalışmasını sağlar DTensorileFSDP2,fp8ve diğer parametre türlerini aynı modelde karıştırmayı kutudan çıktığı gibi desteklerSHARDED_STATE_DICTvetorch.distributed.checkpointkullanarak rankler arasında ek iletişim gerektirmeden daha hızlı ve basit checkpoint oluşturma; bu sayede her rank yalnızca kendi shard'ını ve ilgili metadata'yı kaydeder- Yükleme için, şarlanmış modelin
state_dict'sini kullanarak şarlanmış parametreleri doğrudan yükler - Asenkron checkpoint desteği, burada parametreler önce CPU belleğine kopyalanır, ardından ana iş parçacığı eğitimine devam ederken başka bir iş parçacığı parametreleri diske yazar
- Bellek verimliliği ve deterministik bellek kullanımı,
FSDP2artıkrecordStreamkullanmıyor ve akıştan akışa senkronizasyon kullanıyor (daha fazla teknik ayrıntı için bu forum gönderisine ve bu soruna bakın) - Gelecekte,
torch.compilearacılığıyla iletişim desenlerinin optimizasyonu planlanmakta olup bu sayede performans ve bellek verimliliği daha da artırılacaktır.
API Farkları
İçsel farkları zaten ele aldık, şimdi bir kullanıcı olarak bilmeniz gereken farkları konuşalım.
accelerate CLI üzerinden FSDP2 kullanırken yapılandırma seçeneklerindeki ana değişiklikler şunlardır:
Önceki (FSDP1) | Yeni (FSDP2) | Ne Değişti |
|---|---|---|
--fsdp_sharding_strategy | --fsdp_reshard_after_forward | --fsdp_sharding_strategy yerini alır, true (önceki FULL_SHARD) veya false (önceki SHARD_GRAD_OP) olarak değiştirilir |
--fsdp_backward_prefetch | **KALDIRILDI** | FSDP2 varsayılan olarak önceki BACKWARD_PRE seçeneğini kullanır, çünkü yalnızca bu seçenek iletişim ve hesaplama örtüşmesine olanak tanır |
--fsdp_forward_prefetch | **HELEN UYGULANMADI** | Bunun nasıl uygulanacağı aktif olarak tartışılmaktadır, şu an için FSDP2 tarafından desteklenmemektedir. |
--fsdp_sync_module_states | **KALDIRILDI** | FSDP2 ile bu parametre gereksiz hale gelir |
--fsdp_cpu_ram_efficient_loading | --fsdp_cpu_ram_efficient_loading | true ise, FSDP2 de modelin yalnızca 0. sırada yüklenmesini sağlar ve ardından parametreler diğer sıralarla senkronize edilir; bu davranış FSDP1 ile aynıdır, ancak --fsdp_sync_module_states ayarlaması artık gerekli değildir. |
--fsdp_state_dict_type | --fsdp_state_dict_type | LOCAL_STATE_DICT kullanımdan kaldırılır ve FSDP2 ile varsayılan seçenek SHARDED_STATE_DICT olur; bu, ek bir iletişim gerektirmez ve her rank kendi shard'ını kaydeder. Diğer olası seçenek, ek iletişim ve bellek kullanımında ani bir artışa yol açan ancak rank 0'dan tam modeli kaydeden FULL_STATE_DICT'tir. |
--fsdp_use_orig_params | **KALDIRILDI** | FSDP2 arka planda DTensor sınıfını kullanır; bu da varsayılan olarak her zaman orijinal parametrelerin kullanıldığı anlamına gelir |
| **YENİ** | --fsdp_version | 1 varsayılan seçenektir, mevcut kodu bozmamak için FSDP2 kullanmak üzere 2 olarak ayarlayın |
Değişmeyen diğer tüm seçenekler için FSDP belgelerini inceleyin.
FSDP2'ye Nasıl Geçilir
Python kodu kullanılıyorsa:
Eklentinizi oluştururken fsdp_version=2 olarak ayarlayın ve seçenekleri yukarıdaki tabloya göre değiştirin.
from accelerate import FullyShardedDataParallelPlugin, Accelerator
fsdp_plugin = FullyShardedDataParallelPlugin(
fsdp_version=2
# other options...
)
accelerator = Accelerator(fsdp_plugin=fsdp_plugin)YAML yapılandırması kullanılıyorsa:
Dönüştürme aracımızı kullanın:
accelerate to-fsdp2 --config_file config.yaml --output_file new_config.yaml
Bu, tüm FSDP1 ayarlarını otomatik olarak FSDP2 karşılıklarına dönüştürür. Yeni bir dosya oluşturmak yerine mevcut dosyayı güncellemek için --overwrite kullanın.