# torch.compile cho huấn luyện

[torch.compile](https://docs.pytorch.org/tutorials/intermediate/torch_compile_tutorial.html) biên dịch mã PyTorch thành các kernel đã hợp nhất để chạy nhanh hơn. Đối với huấn luyện, nó theo dõi cả bước tiến và bước lùi cùng nhau và biên dịch chúng thành các kernel tối ưu, giảm thiểu chi phí khởi tạo từng op riêng lẻ và hợp nhất các thao tác để cắt giảm việc sử dụng băng thông bộ nhớ.

Đặt `torch_compile=True` trong [TrainingArguments](/docs/transformers/v5.23.0/vi/main_classes/trainer#transformers.TrainingArguments) để bật tính năng này. Quá trình huấn luyện sẽ biên dịch cả bước forward và backward, khác với suy luận chỉ biên dịch bước forward. Việc biên dịch diễn ra ở bước huấn luyện đầu tiên, do đó hãy kỳ vọng bước này sẽ chậm hơn đáng kể so với các bước tiếp theo.

```py
from transformers import TrainingArguments

args = TrainingArguments(
    ...,
    torch_compile=True,
    torch_compile_backend="inductor",
    torch_compile_mode="reduce-overhead",
)
```

## Backend

Khi không chỉ định backend nào, [TrainingArguments](/docs/transformers/v5.23.0/vi/main_classes/trainer#transformers.TrainingArguments) sẽ chọn một backend dựa trên phần cứng của bạn. Trên hầu hết các CPU và GPU, mặc định là `inductor`, được biên dịch thành các Triton kernel bằng AOTAutograd và phù hợp với phần lớn các tác vụ huấn luyện. Trên Intel Gaudi (HPU), mặc định là `hpu_backend`. Trên AWS Trainium và Inferentia (Neuron), mặc định là `neuron`.

Sử dụng `cudagraphs` cho các đầu vào có hình dạng cố định.

## Chế độ biên dịch

Sử dụng bảng dưới đây để giúp chọn một chế độ `torch.compile`.

| mode | mô tả |
|---|---|
| default | cân bằng giữa thời gian biên dịch và thời gian chạy   |
| reduce-overhead | giảm thiểu chi phí xử lý Python/CPU bằng cách sử dụng CUDA graphs, với cái giá là một lượng bộ nhớ bổ sung |
| max-autotune | đo hiệu năng nhiều triển khai kernel khác nhau tại thời điểm biên dịch và chọn ra phiên bản nhanh nhất (thời gian biên dịch dài hơn) |
| max-autotune-no-cudagraphs | giống với max-autotune nhưng không có CUDA graphs |

## Các bước tiếp theo

- Xem hướng dẫn [torch.compile cho suy luận](./perf_torch_compile) để biết chi tiết về biên dịch fullgraph và các bài kiểm tra hiệu năng suy luận.

