# Pelatihan pada GPU AMD

Pelatih TRL berjalan di GPU AMD Instinct tanpa perubahan kode. Build ROCm dari PyTorch mengeksposnya sebagai perangkat `cuda`, sehingga perintah di bagian lain dokumentasi berfungsi apa adanya.

## Instalasi

Instal build ROCm PyTorch, lalu TRL di lingkungan yang sama:

```bash
pip install torch torchvision --index-url https://download.pytorch.org/whl/rocm7.2
pip install trl
```

## Kernel perhatian

Kernel FlashAttention yang digunakan dalam contoh dokumentasi ini (`kernels-community/flash-attn2`, `flash-attn3` dan `flash-attn4`) tidak memiliki build ROCm. Pada GPU AMD, gunakan [`kernels-community/aiter-flash-attn`](https://huggingface.co/kernels-community/aiter-flash-attn), yang diunduh dari Hub oleh pustaka [`kernels`](https://github.com/huggingface/kernels) (`pip install trl[kernels]`):

```python
from trl import SFTConfig

training_args = SFTConfig(model_init_kwargs={"attn_implementation": "kernels-community/aiter-flash-attn@v2"})
```

Kernel tidak memiliki soft-capping untuk attention-logit, dan Transformers melewatkan `attn_logit_softcapping` tanpa peringatan, sehingga model yang menggunakannya, seperti Gemma 2, dilatih dengan attention tanpa batas.

## Generasi dengan vLLM

GRPO dan RLOO dengan `use_vllm=True` memerlukan build ROCm dari vLLM, lihat [panduan instalasi vLLM](https://docs.vllm.ai/en/latest/getting_started/installation/gpu.html).

