Accelerate documentation
Cơ chế bên trong của Accelerate
Cơ chế bên trong của Accelerate
Bên trong, Accelerate hoạt động bằng cách đầu tiên phân tích môi trường mà script được khởi chạy để xác định loại cấu hình phân tán nào được sử dụng, có bao nhiêu tiến trình khác nhau và script hiện tại đang nằm ở tiến trình nào. Tất cả thông tin đó được lưu trữ trong ~AcceleratorState.
Lớp này được khởi tạo lần đầu tiên khi bạn tạo một ~Accelerator, đồng thời thực hiện bất kỳ bước khởi tạo cụ thể nào mà cấu hình phân tán của bạn cần. Trạng thái của nó sau đó được chia sẻ duy nhất qua tất cả các instance của AcceleratorState. (Điều tương tự cũng có thể được thực hiện với PartialState, một phiên bản tối giản hơn mà nó kế thừa)
Sau đó, khi gọi prepare(), thư viện sẽ:
- bao bọc mô hình của bạn trong container được điều chỉnh cho cấu hình phân tán,
- bọc optimizer của bạn trong một AcceleratedOptimizer,
- bọc trình lập lịch của bạn trong một AcceleratedScheduler
- tạo một phiên bản mới của dataloader của bạn trong DataLoaderShard hoặc DataLoaderDispatcher
Trong khi mô hình, bộ tối ưu hóa và bộ lập lịch chỉ được đặt vào các lớp bọc đơn giản, thì các bộ nạp dữ liệu được tạo lại. Điều này chủ yếu là vì PyTorch không cho phép người dùng thay đổi batch_sampler của một bộ nạp dữ liệu sau khi nó đã được tạo ra, và thư viện xử lý việc chia nhỏ dữ liệu của bạn giữa các tiến trình bằng cách thay đổi batch_sampler đó để trả về mỗi num_processes lô một (nếu được bật).
DataLoaderShard kế thừa DataLoader để thêm các chức năng sau:
- nó đồng bộ hóa bộ tạo số ngẫu nhiên phù hợp của tất cả các tiến trình tại mỗi lần lặp mới, để đảm bảo bất kỳ sự ngẫu nhiên hóa nào (như xáo trộn) được thực hiện theo đúng cách trên tất cả các tiến trình.
- nó đặt các lô (batches) lên thiết bị phù hợp trước khi trả về chúng (trừ khi bạn đã chọn tắt
device_placement=True).
Các lớp con của DataLoaderDispatcher khác với DataLoaderShard ở chỗ, khi lặp qua DataLoader, toàn bộ dữ liệu bắt đầu từ tiến trình 0 và rồi được chia nhỏ và gửi đến từng tiến trình, thay vì việc này diễn ra ở cấp độ tập dữ liệu.
Việc đồng bộ hóa bộ tạo số ngẫu nhiên sẽ đồng bộ hóa mặc định:
- thuộc tính
generatorcủa một sampler cho trước (nhưRandomSamplercủa PyTorch) cho PyTorch >= 1.6 - trình tạo số ngẫu nhiên chính trong PyTorch <=1.5.1
Bạn có thể chọn bộ sinh số ngẫu nhiên nào để đồng bộ hóa bằng đối số rng_types của Accelerator chính. Trong PyTorch >= 1.6, được khuyến nghị dựa vào một generator cục bộ để tránh việc đặt cùng một seed trong bộ sinh số ngẫu nhiên chính trên tất cả các tiến trình.
Việc đồng bộ hóa bộ tạo số ngẫu nhiên chính của torch (hoặc CUDA hoặc XLA) sẽ ảnh hưởng đến bất kỳ thành phần ngẫu nhiên tiềm năng nào khác mà bạn có thể có trong bộ dữ liệu của mình (chẳng hạn như tăng cường dữ liệu ngẫu nhiên), theo nghĩa là tất cả các tiến trình sẽ nhận được cùng các số ngẫu nhiên từ các module ngẫu nhiên của torch (do đó sẽ áp dụng cùng một tăng cường dữ liệu ngẫu nhiên nếu nó được điều khiển bởi torch).
Phần ngẫu nhiên hóa của bộ lấy mẫu tùy chỉnh, bộ lấy mẫu theo lô hoặc tập dữ liệu lặp được của bạn nên được thực hiện bằng cách sử dụng một đối tượng
torch.Generatorcục bộ (trong PyTorch >= 1.6), xemRandomSamplertruyền thống như một ví dụ.
Nếu bạn đã cài đặt torchdata>=0.8.0 và đã truyền use_stateful_dataloader=True vào DataLoaderConfiguration của bạn, các lớp này sẽ kế thừa trực tiếp từ StatefulDataLoader thay vì kế thừa từ lớp khác, và duy trì một state_dict.
Để biết thêm chi tiết về các thành phần bên trong, hãy xem trang Internals.
Update on GitHub