Transformers

Transformers berfungsi sebagai kerangka kerja definisi model untuk model machine learning terkini dalam teks, computer vision, audio, video, dan model multimodal, baik untuk inferensi maupun pelatihan.

Ini memusatkan definisi model sehingga definisi ini disepakati di seluruh ekosistem. transformers adalah pusat di antara berbagai framework: jika sebuah definisi model didukung, definisi tersebut akan kompatibel dengan sebagian besar framework pelatihan (Axolotl, Unsloth, DeepSpeed, FSDP, PyTorch-Lightning, …), mesin inferensi (vLLM, SGLang, TGI, …), dan pustaka pemodelan terkait (llama.cpp, mlx, …) yang memanfaatkan definisi model dari transformers.

Kami berjanji untuk membantu mendukung model state-of-the-art baru dan mendemokratisasi penggunaannya dengan menjadikan definisi model mereka sederhana, dapat dikustomisasi, dan efisien.

Terdapat lebih dari 1 juta model checkpoints Transformers di Hugging Face Hub yang dapat Anda gunakan.

Jelajahi Hub hari ini untuk menemukan model dan gunakan Transformers untuk membantu Anda memulai dengan cepat.

Jelajahi Models Timeline untuk menemukan arsitektur model teks, visi, audio, dan multimodal terbaru di Transformers.

Fitur

Transformers menyediakan semua yang Anda butuhkan untuk inferensi atau pelatihan dengan model pretrained state-of-the-art. Beberapa fitur utamanya meliputi:

• Pipeline: Kelas inferensi yang sederhana dan dioptimalkan untuk banyak tugas machine learning seperti generasi teks, segmentasi gambar, pengenalan ucapan otomatis, penjawab pertanyaan dokumen, dan lainnya.
• Trainer: Trainer komprehensif yang mendukung fitur seperti mixed precision, torch.compile, dan FlashAttention untuk pelatihan dan pelatihan terdistribusi model PyTorch.
• generate: Generasi teks cepat dengan large language models (LLM) dan vision language models (VLM), termasuk dukungan untuk streaming dan berbagai strategi decoding.

Desain

Baca Filosofi kami untuk mempelajari lebih lanjut tentang prinsip desain Transformers.

Transformers dirancang untuk pengembang dan insinyur machine learning serta peneliti. Prinsip desain utamanya adalah:

1. Cepat dan mudah digunakan: Setiap model diimplementasikan hanya dari tiga kelas utama (konfigurasi, model, dan preprocessor) dan dapat dengan cepat digunakan untuk inferensi atau pelatihan dengan Pipeline atau Trainer.
2. Model pretrained: Kurangi jejak karbon, biaya komputasi, dan waktu dengan menggunakan model pretrained alih-alih melatih model baru sepenuhnya. Setiap model pretrained direproduksi sedekat mungkin dengan model aslinya dan menawarkan kinerja state-of-the-art.

Pelajari

Jika Anda baru mengenal Transformers atau ingin mempelajari lebih lanjut tentang model transformer, kami merekomendasikan untuk memulai dengan kursus LLM. Kursus komprehensif ini mencakup segala hal, mulai dari dasar-dasar cara kerja model transformer hingga aplikasi praktis di berbagai tugas. Anda akan mempelajari alur kerja lengkap, mulai dari kurasi dataset berkualitas tinggi hingga fine-tuning large language models dan implementasi kemampuan penalaran. Kursus ini berisi latihan teoretis dan praktis untuk membangun pengetahuan dasar yang kuat tentang model transformer seiring Anda belajar.