# PEFT[[transformers.integrations.PeftAdapterMixin]]

[PeftAdapterMixin](/docs/transformers/v5.23.0/vi/main_classes/peft#transformers.integrations.PeftAdapterMixin) cung cấp các hàm từ thư viện [PEFT](https://huggingface.co/docs/peft/index) để quản lý các adapter với Transformers. Mixin này hỗ trợ tất cả các phương pháp PEFT không dựa trên prompt-learning (LoRA, IA3, AdaLoRA và các phương pháp khác). Các phương pháp prefix tuning (prompt tuning, prompt learning) không được hỗ trợ vì chúng không thể được tiêm vào một module torch.

#### transformers.integrations.PeftAdapterMixin[[transformers.integrations.PeftAdapterMixin]]

```python
transformers.integrations.PeftAdapterMixin()
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L57)

Một class chứa tất cả các hàm để tải và sử dụng trọng số adapter được hỗ trợ trong thư viện PEFT. Để biết thêm chi tiết về adapter và cách tiêm chúng vào một mô hình dựa trên transformer, hãy xem tài liệu của thư viện PEFT: https://huggingface.co/docs/peft/index

Các phương pháp PEFT hiện được hỗ trợ đều là các phương pháp không dựa trên prompt (LoRA, IA³, v.v.). Các mô hình PEFT khác như prompt tuning, prompt learning nằm ngoài phạm vi vì các adapter này không thể "tiêm" vào một module của torch. Để sử dụng các phương pháp này, vui lòng tham khảo hướng dẫn sử dụng của thư viện PEFT.

Với mixin này, nếu phiên bản PEFT chính xác được cài đặt (>= 0.20.0), bạn có thể:

- Tải một adapter được lưu trữ trên đường dẫn cục bộ hoặc trong kho Hub từ xa, và tiêm nó vào mô hình
- Gắn các adapter mới vào mô hình và huấn luyện chúng bằng Trainer hoặc theo cách riêng của bạn.
- Gắn nhiều adapter và kích hoạt / vô hiệu hóa chúng theo từng lần
- Kích hoạt / tắt tất cả các adapter từ mô hình.
- Lấy `state_dict` của adapter đang hoạt động.

#### load_adapter[[transformers.integrations.PeftAdapterMixin.load_adapter]]

```python
load_adapter(peft_model_id: str | None = None, adapter_name: str | None = None, peft_config: dict[str, typing.Any] | None = None, adapter_state_dict: dict[str, 'torch.Tensor'] | None = None, low_cpu_mem_usage: bool = False, is_trainable: bool = False, hotswap: typing.Union[bool, typing.Literal['auto']] = 'auto', local_files_only: bool = False, adapter_kwargs: dict[str, typing.Any] | None = None, load_config: typing.Optional[ForwardRef('LoadStateDictConfig')] = None, **kwargs)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L80)

**Tham số:**

peft_model_id (`str`, *tùy chọn*) : Định danh của model cần tìm trên Hub, hoặc đường dẫn cục bộ đến tệp cấu hình adapter và trọng số adapter đã lưu.

adapter_name (`str`, *tùy chọn*) : Tên adapter cần sử dụng. Nếu không được đặt, sẽ sử dụng tên "default".

load_config (`LoadStateDictConfig`, *tùy chọn*) : Cấu hình tải để tái sử dụng khi lấy trọng số adapter, thường từ `from_pretrained`.

kwargs (`dict[str, Any]`, *tùy chọn*) : Các trường `LoadStateDictConfig` bổ sung được truyền dưới dạng các đối số từ khóa.

peft_config (`dict[str, Any]`, *tùy chọn*) : Cấu hình của adapter cần thêm, các adapter được hỗ trợ bao gồm tất cả các cấu hình học không dùng prompt (LoRA, IA³, v.v.). Tham số này được sử dụng trong trường hợp người dùng truyền trực tiếp các state dict của PEFT.

adapter_state_dict (`dict[str, torch.Tensor]`, *tùy chọn*) : State dict của adapter cần nạp. Tham số này được sử dụng trong trường hợp người dùng trực tiếp truyền các state dict của PEFT.

low_cpu_mem_usage (`bool`, *tùy chọn*, mặc định là `False`) : Giảm mức sử dụng bộ nhớ khi tải bộ thích ứng PEFT. Điều này cũng nên giúp tăng tốc quá trình tải.

is_trainable (`bool`, *tùy chọn*, mặc định là `False`) : Xác định xem adapter có nên được huấn luyện hay không. Nếu `False`, adapter sẽ bị đóng băng và chỉ có thể được sử dụng để suy luận.

hotswap : (`"auto"` or `bool`, *tùy chọn*, mặc định là `"auto"`) Có nên thay thế bộ thích ứng (adapter) hiện có (LoRA) bằng bộ thích ứng mới được nạp tại chỗ hay không. Điều này có nghĩa là, thay vì nạp thêm một bộ thích ứng, phương thức này sẽ lấy trọng số của bộ thích ứng hiện có và thay thế chúng bằng trọng số của bộ thích ứng mới. Cách này có thể nhanh hơn và tiết kiệm bộ nhớ hơn. Tuy nhiên, lợi ích chính của việc hotswap là khi mô hình được biên dịch bằng torch.compile, việc nạp bộ thích ứng mới không yêu cầu biên dịch lại mô hình. Khi sử dụng hotswap, `adapter_name` được truyền vào phải là tên của một bộ thích ứng đã được nạp. Nếu bộ thích ứng mới và bộ thích ứng cũ có rank và/hoặc LoRA alpha (tức là hệ số tỷ lệ) khác nhau, bạn cần gọi một phương thức bổ sung trước khi nạp bộ thích ứng: ```py model = AutoModel.from_pretrained(...) max_rank = ...  # the highest rank among all LoRAs that you want to load # call *before* compiling and loading the LoRA adapter model.enable_peft_hotswap(target_rank=max_rank) model.load_adapter(file_name_1, adapter_name="default") # optionally compile the model now model = torch.compile(model, ...) output_1 = model(...) # now you can hotswap the 2nd adapter, use the same name as for the 1st # hotswap is activated by default since enable_peft_hotswap was called model.load_adapter(file_name_2, adapter_name="default") output_2 = model(...) ```  Mặc định, hotswap bị tắt và yêu cầu truyền `hotswap=True`. Nếu bạn đã gọi `enable_peft_hotswap` trước đó, nó sẽ được bật. Trong trường hợp đó, bạn vẫn có thể tắt thủ công bằng cách truyền `hotswap=False`. Lưu ý rằng hotswap đi kèm với một số hạn chế được tài liệu hóa tại đây: https://huggingface.co/docs/peft/main/en/package_reference/hotswap

adapter_kwargs (`dict[str, Any]`, *tùy chọn*) : Các đối số từ khóa bổ sung được truyền đến phương thức `from_pretrained` của cấu hình adapter và phương thức `find_adapter_config_file`.

Tải trọng số adapter từ tệp hoặc thư mục Hub từ xa. Nếu bạn chưa quen thuộc với adapter và các phương pháp PEFT, chúng tôi mời bạn đọc thêm về chúng trong tài liệu chính thức của PEFT: https://huggingface.co/docs/peft

Yêu cầu PEFT phải được cài đặt như một backend để tải trọng số adapter.

#### add_adapter[[transformers.integrations.PeftAdapterMixin.add_adapter]]

```python
add_adapter(adapter_config, adapter_name: str | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L390)

**Tham số:**

adapter_config (`~peft.PeftConfig`) : Cấu hình của adapter cần thêm, các adapter được hỗ trợ là các phương pháp học không dùng prompt (LoRA, IA³, v.v.).

adapter_name (`str`, *tùy chọn*, mặc định là `"default"`) : Tên của adapter cần thêm. Nếu không truyền tên, một tên mặc định sẽ được gán cho adapter.

Nếu bạn chưa quen thuộc với adapter và các phương pháp PEFT, chúng tôi mời bạn đọc thêm về chúng trong tài liệu chính thức của PEFT: https://huggingface.co/docs/peft

Thêm một adapter mới vào mô hình hiện tại cho mục đích huấn luyện. Nếu không truyền tên adapter, một tên mặc định sẽ được gán cho adapter để tuân theo quy ước của thư viện PEFT (trong PEFT, chúng tôi sử dụng "default" làm tên adapter mặc định).

Lưu ý rằng adapter mới thêm không được kích hoạt tự động. Để kích hoạt nó, hãy sử dụng `model.set_adapter`.

#### set_adapter[[transformers.integrations.PeftAdapterMixin.set_adapter]]

```python
set_adapter(adapter_name: list[str] | str)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L430)

**Tham số:**

adapter_name (`Union[list[str], str]`) : Tên của adapter cần thiết lập. Cũng có thể là một danh sách các chuỗi để thiết lập nhiều adapter.

Nếu bạn chưa quen thuộc với adapter và các phương pháp PEFT, chúng tôi mời bạn đọc thêm về chúng trong tài liệu chính thức của PEFT: https://huggingface.co/docs/peft

Đặt một adapter cụ thể bằng cách buộc mô hình sử dụng adapter đó và vô hiệu hóa các adapter khác.

#### disable_adapters[[transformers.integrations.PeftAdapterMixin.disable_adapters]]

```python
disable_adapters()
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L471)

Nếu bạn chưa quen thuộc với adapter và các phương pháp PEFT, chúng tôi mời bạn đọc thêm về chúng trong tài liệu chính thức của PEFT: https://huggingface.co/docs/peft

Tắt tất cả các adapter được gắn vào mô hình. Điều này dẫn đến việc suy luận chỉ với mô hình cơ sở.

#### enable_adapters[[transformers.integrations.PeftAdapterMixin.enable_adapters]]

```python
enable_adapters()
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L490)

Nếu bạn chưa quen thuộc với adapter và các phương pháp PEFT, chúng tôi mời bạn đọc thêm về chúng trong tài liệu chính thức của PEFT: https://huggingface.co/docs/peft

Bật các adapter được gắn vào mô hình.

#### enable_peft_hotswap[[transformers.integrations.PeftAdapterMixin.enable_peft_hotswap]]

```python
enable_peft_hotswap(target_rank: int = 128, check_compiled: typing.Literal['error', 'warn', 'ignore'] = 'error')
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L353)

**Tham số:**

target_rank (`int`, *tùy chọn*, mặc định là `128`) : Bậc cao nhất trong số tất cả các adapter sẽ được nạp.

check_compiled (`str`, *tùy chọn*, mặc định là `"error"`) : Cách xử lý khi mô hình đã được biên dịch, điều này thường nên tránh. Các tùy chọn là: - "error" (mặc định): gây ra lỗi - "warn": phát ra cảnh báo - "ignore": không làm gì

Cho phép khả năng thay đổi nóng (hotswap) các bộ thích ứng PEFT có bậc (rank) khác nhau, hoặc, nếu mô hình đã được biên dịch, mà không kích hoạt việc biên dịch lại.

Hiện tại, hotswapping chỉ được hỗ trợ cho LoRA.

Việc gọi phương thức này chỉ bắt buộc khi hotswap các adapter và nếu mô hình đã được biên dịch hoặc nếu rank của các adapter được nạp khác nhau. Nếu tất cả các rank đều giống nhau và mô hình chưa được biên dịch, hotswap sẽ hoạt động mà không cần gọi phương thức này trước.

#### active_adapters[[transformers.integrations.PeftAdapterMixin.active_adapters]]

```python
active_adapters()
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L508)

Nếu bạn chưa quen thuộc với adapter và các phương pháp PEFT, chúng tôi mời bạn đọc thêm về chúng trong tài liệu chính thức của PEFT: https://huggingface.co/docs/peft

Lấy các adapter đang hoạt động hiện tại của mô hình. Trong trường hợp suy luận đa adapter (kết hợp nhiều adapter để suy luận), trả về danh sách tất cả các adapter đang hoạt động để người dùng có thể xử lý tương ứng.

Với các phiên bản PEFT trước đó (không hỗ trợ suy luận đa adapter), `module.active_adapter` sẽ trả về một chuỗi duy nhất.

#### get_adapter_state_dict[[transformers.integrations.PeftAdapterMixin.get_adapter_state_dict]]

```python
get_adapter_state_dict(adapter_name: str | None = None, state_dict: dict | None = None)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L537)

**Tham số:**

adapter_name (`str`, *tùy chọn*) : Tên của adapter để lấy state dict từ đó. Nếu không truyền tên nào, adapter đang hoạt động sẽ được sử dụng.

state_dict (nested dictionary of `torch.Tensor`, *optional*) : State dictionary của model. Mặc định sẽ là `self.state_dict()`, nhưng có thể được sử dụng nếu cần thực hiện các biện pháp đặc biệt khi khôi phục state dictionary của model (ví dụ khi sử dụng model parallelism).

Nếu bạn chưa quen thuộc với adapter và các phương pháp PEFT, chúng tôi mời bạn đọc thêm về chúng trong tài liệu chính thức của PEFT: https://huggingface.co/docs/peft

Lấy adapter state dict chỉ chứa các tensor trọng số của adapter có tên adapter_name được chỉ định. Nếu không truyền adapter_name, adapter đang hoạt động sẽ được sử dụng.

#### delete_adapter[[transformers.integrations.PeftAdapterMixin.delete_adapter]]

```python
delete_adapter(adapter_names: list[str] | str)
```

[Nguồn](https://github.com/huggingface/transformers/blob/v5.23.0/src/transformers/integrations/peft.py#L622)

**Tham số:**

adapter_names (`Union[list[str], str]`) : Tên của adapter cần xóa.

Xóa một bộ thích ứng PEFT khỏi mô hình cơ bản.

