PEFT documentation

torch.compile

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

torch.compile

Di PEFT, torch.compile berfungsi untuk beberapa fitur, tetapi tidak untuk semua. Alasannya adalah PEFT sangat dinamis di beberapa bagian (misalnya, memuat dan beralih antar beberapa adapter), yang dapat menyebabkan masalah bagi torch.compile. Di bagian lain, torch.compile mungkin berfungsi, tetapi tidak akan secepat yang diharapkan karena adanya graph breaks.

Jika Anda tidak melihat error, itu tidak berarti torch.compile bekerja dengan benar. Mungkin Anda mendapatkan output, tetapi output tersebut salah. Panduan ini menjelaskan apa yang berfungsi dengan torch.compile dan apa yang tidak. Untuk pengujian Anda sendiri, kami merekomendasikan menggunakan versi PyTorch terbaru, karena torch.compile terus ditingkatkan.

Kecuali dinyatakan lain, pengaturan torch.compile default digunakan.

Pelatihan dan inferensi dengan torch.compile

Fitur-fitur ini berfungsi dengan torch.compile. Semua yang tercantum di bawah ini telah diuji dengan LM kausal:

  • Pelatihan dengan Trainer dari 🤗 transformers
  • Pelatihan dengan loop PyTorch kustom
  • Inferensi
  • Generasi

Adaptor berikut berhasil diuji:

  • AdaLoRA
  • BOFT
  • IA³
  • Penyetelan Layer Norm
  • LoHa
  • LoKr
  • LoRA
  • LoRA + DoRA
  • LoRA yang diterapkan pada lapisan embedding
  • OFT
  • VeRA
  • HRA

Fitur PEFT lanjutan dengan torch.compile

Berikut adalah beberapa fitur PEFT yang lebih lanjut yang berfungsi. Semua fitur tersebut telah diuji dengan LoRA.

  • modules_to_save (i.e. config = LoraConfig(..., modules_to_save=...))
  • Menggabungkan adapter (satu atau beberapa)
  • Menggabungkan beberapa adapter menjadi satu adapter (yaitu memanggil model.add_weighted_adapter(...))
  • Menggunakan adapter PEFT dengan kuantisasi (bitsandbytes)
  • Menonaktifkan adapter (yaitu menggunakan with model.disable_adapter())
  • Melepas (yaitu memanggil model.merge_and_unload())
  • Batch adapter campuran (yaitu memanggil model(batch, adapter_names=["__base__", "default", "other", ...]))
  • Inferensi dengan beberapa adapter (yaitu menggunakan model.add_adapter atau model.load_adapter untuk memuat lebih dari 1 adapter); untuk ini, hanya panggil torch.compile setelah semua adapter dimuat

Secara umum, kita dapat mengharapkan bahwa jika suatu fitur berfungsi dengan benar dengan LoRA dan juga didukung oleh tipe adapter lainnya, maka fitur tersebut seharusnya juga berfungsi untuk tipe adapter tersebut.

Kasus uji

Semua kasus penggunaan yang tercantum di atas diuji di dalam peft/tests/test_torch_compile.py. Jika Anda ingin memeriksa secara lebih detail bagaimana kami menguji fitur tertentu, silakan buka file tersebut dan lihat pengujian yang sesuai dengan kasus penggunaan Anda.

Jika Anda memiliki kasus penggunaan lain di mana Anda tahu bahwa torch.compile bekerja atau tidak bekerja dengan PEFT, silakan berkontribusi dengan memberi tahu kami atau dengan membuka PR untuk menambahkan kasus penggunaan ini ke dalam kasus uji yang dicakup.

Update on GitHub