Transformers documentation

torch.compile cho huấn luyện

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

torch.compile cho huấn luyện

torch.compile biên dịch mã PyTorch thành các kernel đã hợp nhất để chạy nhanh hơn. Đối với huấn luyện, nó theo dõi cả bước tiến và bước lùi cùng nhau và biên dịch chúng thành các kernel tối ưu, giảm thiểu chi phí khởi tạo từng op riêng lẻ và hợp nhất các thao tác để cắt giảm việc sử dụng băng thông bộ nhớ.

Đặt torch_compile=True trong TrainingArguments để bật tính năng này. Quá trình huấn luyện sẽ biên dịch cả bước forward và backward, khác với suy luận chỉ biên dịch bước forward. Việc biên dịch diễn ra ở bước huấn luyện đầu tiên, do đó hãy kỳ vọng bước này sẽ chậm hơn đáng kể so với các bước tiếp theo.

from transformers import TrainingArguments

args = TrainingArguments(
    ...,
    torch_compile=True,
    torch_compile_backend="inductor",
    torch_compile_mode="reduce-overhead",
)

Backend

Khi không chỉ định backend nào, TrainingArguments sẽ chọn một backend dựa trên phần cứng của bạn. Trên hầu hết các CPU và GPU, mặc định là inductor, được biên dịch thành các Triton kernel bằng AOTAutograd và phù hợp với phần lớn các tác vụ huấn luyện. Trên Intel Gaudi (HPU), mặc định là hpu_backend. Trên AWS Trainium và Inferentia (Neuron), mặc định là neuron.

Sử dụng cudagraphs cho các đầu vào có hình dạng cố định.

Chế độ biên dịch

Sử dụng bảng dưới đây để giúp chọn một chế độ torch.compile.

modemô tả
defaultcân bằng giữa thời gian biên dịch và thời gian chạy
reduce-overheadgiảm thiểu chi phí xử lý Python/CPU bằng cách sử dụng CUDA graphs, với cái giá là một lượng bộ nhớ bổ sung
max-autotuneđo hiệu năng nhiều triển khai kernel khác nhau tại thời điểm biên dịch và chọn ra phiên bản nhanh nhất (thời gian biên dịch dài hơn)
max-autotune-no-cudagraphsgiống với max-autotune nhưng không có CUDA graphs

Các bước tiếp theo

  • Xem hướng dẫn torch.compile cho suy luận để biết chi tiết về biên dịch fullgraph và các bài kiểm tra hiệu năng suy luận.
Update on GitHub