# Mekanisme internal Accelerate

Secara internal, Accelerate bekerja dengan terlebih dahulu menganalisis lingkungan tempat skrip diluncurkan untuk menentukan jenis setup distribusi yang digunakan, berapa banyak proses berbeda yang ada, dan proses mana yang sedang dijalankan oleh skrip saat ini. Semua informasi tersebut disimpan dalam `~AcceleratorState`.

Kelas ini diinisialisasi untuk pertama kali saat Anda menginstansiasi [~Accelerator](/docs/accelerate/v1.16.0/id/package_reference/accelerator#accelerate.Accelerator) serta melakukan inisialisasi spesifik apa pun yang dibutuhkan oleh setup distribusi Anda. Statusnya kemudian dibagikan secara unik melalui semua instans [AcceleratorState](/docs/accelerate/v1.16.0/id/package_reference/state#accelerate.state.AcceleratorState). (Hal yang sama juga dapat dilakukan dengan [PartialState](/docs/accelerate/v1.16.0/id/package_reference/state#accelerate.PartialState), versi yang lebih sederhana yang diwarisinya)

Lalu, saat memanggil [prepare()](/docs/accelerate/v1.16.0/id/package_reference/accelerator#accelerate.Accelerator.prepare), pustaka tersebut:

- membungkus model Anda dalam kontainer yang disesuaikan untuk setup terdistribusi,
- membungkus optimizer Anda dalam [AcceleratedOptimizer](/docs/accelerate/v1.16.0/id/package_reference/torch_wrappers#accelerate.optimizer.AcceleratedOptimizer),
- membungkus scheduler Anda dalam [AcceleratedScheduler](/docs/accelerate/v1.16.0/id/package_reference/torch_wrappers#accelerate.scheduler.AcceleratedScheduler)
- membuat versi baru dari dataloader Anda dalam [DataLoaderShard](/docs/accelerate/v1.16.0/id/package_reference/torch_wrappers#accelerate.data_loader.DataLoaderShard) atau [DataLoaderDispatcher](/docs/accelerate/v1.16.0/id/package_reference/torch_wrappers#accelerate.data_loader.DataLoaderDispatcher)

Meskipun model, optimizer, dan scheduler hanya dimasukkan ke dalam wrapper sederhana, dataloader dibuat ulang. Hal ini terutama karena PyTorch tidak memungkinkan pengguna untuk mengubah `batch_sampler` dari sebuah dataloader setelah dataloader tersebut dibuat, dan pustaka ini menangani sharding data Anda antar proses dengan mengubah `batch_sampler` tersebut agar menghasilkan setiap `num_processes` batch lainnya (jika diaktifkan).

[DataLoaderShard](/docs/accelerate/v1.16.0/id/package_reference/torch_wrappers#accelerate.data_loader.DataLoaderShard) merupakan subkelas dari `DataLoader` untuk menambahkan fungsionalitas berikut:

- it menyinkronkan generator angka acak yang sesuai dari semua proses pada setiap iterasi baru, untuk memastikan setiap randomisasi (seperti shuffling) dilakukan dengan cara yang persis sama di seluruh proses.
- it menempatkan batch pada perangkat yang tepat sebelum menghasilkannya (kecuali Anda memilih untuk menonaktifkan `device_placement=True`).
  
Subkelas [DataLoaderDispatcher](/docs/accelerate/v1.16.0/id/package_reference/torch_wrappers#accelerate.data_loader.DataLoaderDispatcher) berbeda dari [DataLoaderShard](/docs/accelerate/v1.16.0/id/package_reference/torch_wrappers#accelerate.data_loader.DataLoaderShard) dalam hal, saat melakukan iterasi pada `DataLoader`, data dimulai dari proses 0 dan *kemudian* dipecah serta dikirim ke setiap proses, bukan terjadi di level dataset.

Sinkronisasi generator angka acak secara default akan menyinkronkan:

- atribut `generator` dari sampler tertentu (seperti `RandomSampler` PyTorch) untuk PyTorch >= 1.6
- generator angka acak utama di PyTorch <=1.5.1

Anda dapat memilih generator angka acak mana yang akan disinkronkan dengan argumen `rng_types` dari [Accelerator](/docs/accelerate/v1.16.0/id/package_reference/accelerator#accelerate.Accelerator) utama. Di PyTorch >= 1.6, disarankan untuk mengandalkan `generator` lokal agar tidak perlu mengatur seed yang sama pada generator angka acak utama di semua proses.

    Sinkronisasi generator angka acak utama torch (atau CUDA atau XLA) akan memengaruhi artefak acak potensial lainnya yang mungkin ada dalam dataset Anda (seperti augmentasi data acak), dalam arti bahwa semua proses akan mendapatkan angka acak yang sama dari modul acak torch (sehingga akan menerapkan augmentasi data acak yang sama jika dikendalikan oleh torch).

    Bagian randomisasi dari sampler kustom, batch sampler, atau dataset iterable Anda harus dilakukan menggunakan objek `torch.Generator` lokal (di PyTorch >= 1.6), lihat `RandomSampler` tradisional sebagai contoh.

Jika Anda telah menginstal [`torchdata>=0.8.0`](https://github.com/pytorch/data/tree/main) dan telah meneruskan `use_stateful_dataloader=True` ke [DataLoaderConfiguration](/docs/accelerate/v1.16.0/id/package_reference/utilities#accelerate.DataLoaderConfiguration) Anda, kelas-kelas ini akan langsung mewarisi dari `StatefulDataLoader` sebagai gantinya, dan mempertahankan `state_dict`.

Untuk detail lebih lanjut tentang bagian internal, lihat [halaman Internals](../package_reference/torch_wrappers).

