Transformers documentation
torch.compile para el entrenamiento
torch.compile para el entrenamiento
torch.compile compila el código de PyTorch en kernels fusionados para que se ejecute más rápido. En el entrenamiento, traza tanto el paso hacia adelante como el paso hacia atrás y los compila en kernels optimizados, reduciendo la sobrecarga de las lanzamientos individuales de operaciones y fusionando operaciones para disminuir el uso de ancho de banda de memoria.
Establezca torch_compile=True en TrainingArguments para habilitarlo. El entrenamiento compila tanto el paso hacia adelante como el paso hacia atrás, a diferencia de la inferencia, que solo compila el paso hacia adelante. La compilación ocurre en el primer paso de entrenamiento, por lo que espere que sea significativamente más lenta que los pasos posteriores.
from transformers import TrainingArguments
args = TrainingArguments(
...,
torch_compile=True,
torch_compile_backend="inductor",
torch_compile_mode="reduce-overhead",
)Backend
Cuando no se especifica un backend, TrainingArguments selecciona uno en función de tu hardware. En la mayoría de las CPU y GPU, el valor predeterminado es inductor, que compila a kernels de Triton con AOTAutograd y se adapta a la mayoría de las cargas de trabajo de entrenamiento. En Intel Gaudi (HPU), el valor predeterminado es hpu_backend. En AWS Trainium e Inferentia (Neuron), el valor predeterminado es neuron.
Usa cudagraphs para entradas de forma fija.
Modo de compilación
Use la tabla siguiente para ayudarle a seleccionar un modo de torch.compile.
| mode | descripción |
|---|---|
| default | compilación equilibrada entre tiempo de compilación y tiempo de ejecución |
| reduce-overhead | reduce la sobrecarga de Python/CPU mediante el uso de CUDA graphs, a cambio de un poco más de memoria |
| max-autotune | benchmarks múltiples implementaciones de kernel en tiempo de compilación y elige la más rápida (compilación más larga) |
| max-autotune-no-cudagraphs | igual que max-autotune pero sin gráficos de CUDA |
Próximos pasos
- Consulte la guía torch.compile para inferencia para obtener detalles sobre la compilación fullgraph y las pruebas de inferencia.