Transformers documentation

torch.compile para el entrenamiento

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

torch.compile para el entrenamiento

torch.compile compila el código de PyTorch en kernels fusionados para que se ejecute más rápido. En el entrenamiento, traza tanto el paso hacia adelante como el paso hacia atrás y los compila en kernels optimizados, reduciendo la sobrecarga de las lanzamientos individuales de operaciones y fusionando operaciones para disminuir el uso de ancho de banda de memoria.

Establezca torch_compile=True en TrainingArguments para habilitarlo. El entrenamiento compila tanto el paso hacia adelante como el paso hacia atrás, a diferencia de la inferencia, que solo compila el paso hacia adelante. La compilación ocurre en el primer paso de entrenamiento, por lo que espere que sea significativamente más lenta que los pasos posteriores.

from transformers import TrainingArguments

args = TrainingArguments(
    ...,
    torch_compile=True,
    torch_compile_backend="inductor",
    torch_compile_mode="reduce-overhead",
)

Backend

Cuando no se especifica un backend, TrainingArguments selecciona uno en función de tu hardware. En la mayoría de las CPU y GPU, el valor predeterminado es inductor, que compila a kernels de Triton con AOTAutograd y se adapta a la mayoría de las cargas de trabajo de entrenamiento. En Intel Gaudi (HPU), el valor predeterminado es hpu_backend. En AWS Trainium e Inferentia (Neuron), el valor predeterminado es neuron.

Usa cudagraphs para entradas de forma fija.

Modo de compilación

Use la tabla siguiente para ayudarle a seleccionar un modo de torch.compile.

modedescripción
defaultcompilación equilibrada entre tiempo de compilación y tiempo de ejecución
reduce-overheadreduce la sobrecarga de Python/CPU mediante el uso de CUDA graphs, a cambio de un poco más de memoria
max-autotunebenchmarks múltiples implementaciones de kernel en tiempo de compilación y elige la más rápida (compilación más larga)
max-autotune-no-cudagraphsigual que max-autotune pero sin gráficos de CUDA

Próximos pasos

Update on GitHub