# Huấn luyện trên GPU AMD

Các trainer của TRL chạy trên GPU AMD Instinct mà không cần thay đổi mã. Bản build ROCm của PyTorch hiển thị chúng dưới dạng thiết bị `cuda`, do đó các lệnh trong phần còn lại của tài liệu hoạt động nguyên vẹn.

## Cài đặt

Cài đặt bản build ROCm của PyTorch, sau đó cài TRL trong cùng môi trường:

```bash
pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2
pip install trl
```

## Các kernel chú ý

Các kernel FlashAttention được sử dụng trong các ví dụ của tài liệu này (`kernels-community/flash-attn2`, `flash-attn3` và `flash-attn4`) không có bản build ROCm. Trên GPU AMD, hãy sử dụng [`kernels-community/aiter-flash-attn`](https://huggingface.co/kernels-community/aiter-flash-attn), được tải xuống từ Hub bởi thư viện [`kernels`](https://github.com/huggingface/kernels) (`pip install trl[kernels]`):

```python
from trl import SFTConfig

training_args = SFTConfig(model_init_kwargs={"attn_implementation": "kernels-community/aiter-flash-attn@v2"})
```

Kernel không có tính năng soft-capping cho attention-logit, và Transformers bỏ qua `attn_logit_softcapping` mà không có cảnh báo, do đó các mô hình sử dụng tính năng này, chẳng hạn như Gemma 2, được huấn luyện với attention không bị giới hạn.

## Sinh văn bản với vLLM

GRPO và RLOO với `use_vllm=True` cần bản build ROCm của vLLM, xem [hướng dẫn cài đặt vLLM](https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html).

