Model ini dipublikasikan di HF papers pada 2023-09-09 dan disumbangkan ke Hugging Face Transformers pada 2023-11-28.

MADLAD-400

Ikhtisar

Model MADLAD-400 dirilis dalam makalah MADLAD-400: A Multilingual And Document-Level Large Audited Dataset.

Abstrak dari makalah tersebut adalah sebagai berikut:

Kami memperkenalkan MADLAD-400, dataset monolingual 3T token domain umum yang diaudit secara manual berdasarkan CommonCrawl, mencakup 419 bahasa. Kami membahas keterbatasan yang terungkap melalui pengauditan mandiri MADLAD-400, serta peran pengauditan data dalam proses pembuatan dataset. Kami kemudian melatih dan merilis model penerjemahan mesin multibahasa dengan 10,7 miliar parameter pada 250 miliar token yang mencakup lebih dari 450 bahasa menggunakan data yang tersedia secara publik, dan menemukan bahwa model ini kompetitif dengan model yang jauh lebih besar, serta melaporkan hasil pada berbagai domain. Selain itu, kami melatih model bahasa dengan 8 miliar parameter, dan menilai hasil pada penerjemahan few-shot. Kami membuat model baseline 1 tersedia bagi komunitas riset.

Model ini ditambahkan oleh Juarez Bochi. Checkpoint asli dapat ditemukan di sini.

Ini adalah model terjemahan mesin yang mendukung banyak bahasa berkekurangan sumber daya, dan yang kompetitif dengan model yang jauh lebih besar.

Seseorang dapat langsung menggunakan bobot MADLAD-400 tanpa melakukan penyesuaian halus (finetuning) pada model:

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


model = AutoModelForSeq2SeqLM.from_pretrained("google/madlad400-3b-mt", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("google/madlad400-3b-mt")

inputs = tokenizer("<2pt> I love pizza!", return_tensors="pt").to(model.device)
outputs = model.generate(**inputs)
print(tokenizer.batch_decode(outputs, skip_special_tokens=True))
['Eu amo pizza!']

Google telah merilis varian berikut:

• google/madlad400-3b-mt

• google/madlad400-7b-mt

• google/madlad400-7b-mt-bt

• google/madlad400-10b-mt

Checkpoint asli dapat ditemukan di sini.

Lihat halaman dokumentasi T5 untuk semua referensi API, contoh kode, dan notebook. Untuk detail lebih lanjut mengenai pelatihan dan evaluasi MADLAD-400, lihat kartu model.