Bu model, 2020-05-01 tarihinde HF papers'ta yayımlandı ve 2020-11-16 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

HerBERT

Genel Bakış

HerBERT modeli, Piotr Rybak, Robert Mroczkowski, Janusz Tracz ve Ireneusz Gawlik tarafından KLEJ: Comprehensive Benchmark for Polish Language Understanding makalesinde önerilmiştir. Bu model, yalnızca dinamik tüm kelime maskelenmesi ile MLM hedefi kullanılarak Lehçe korpüslerinde eğitilmiş, BERT tabanlı bir dil modelidir.

Makalenin özeti aşağıdaki gibidir:

Son yıllarda, Transformer tabanlı bir dizi model, genel doğal dil anlama (NLU) görevlerinde önemli iyileştirmeler sağladı. Önerilen yöntemlerin adil bir şekilde karşılaştırılmasına olanak tanıyan genel NLU kıyaslamaları olmasaydı, bu kadar hızlı bir araştırma temposu mümkün olmazdı. Ancak bu tür kıyaslamalar yalnızca birkaç dil için mevcuttur. Bu sorunu hafifletmek amacıyla, çevrimiçi bir liderlik tablosu ile birlikte, Polonya dili anlama için kapsamlı bir çok görevli kıyaslama sunuyoruz. Bu kıyaslama, isimli varlık tanıma, soru-cevap, metinsel çıkarım ve diğer alanlardan uyarlanan çeşitli bir görev setinden oluşmaktadır. Ayrıca, e-ticaret alanına yönelik, Allegro Reviews (AR) adını verdiğimiz yeni bir duygu analizi görevi tanıtıyoruz. Ortak bir değerlendirme şemasını sağlamak ve farklı NLU görevlerine genelleme yapabilen modelleri teşvik etmek için, kıyaslama farklı alanlardan ve uygulamalardan veri setleri içermektedir. Ek olarak, özellikle Polonya dili için eğitilmiş, ortalama performansı en yüksek olan ve dokuz görevden üçünün en iyi sonuçlarını elde eden, Transformer tabanlı HerBERT modelini yayımlıyoruz. Son olarak, çeşitli standart baz çizgileri ve son zamanlarda önerilen, çok dilli Transformer tabanlı modelleri içeren kapsamlı bir değerlendirme sunuyoruz.

Bu model rmroczkowski tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım örneği

from transformers import HerbertTokenizer, RobertaModel


tokenizer = HerbertTokenizer.from_pretrained("allegro/herbert-klej-cased-tokenizer-v1")
model = RobertaModel.from_pretrained("allegro/herbert-klej-cased-v1", device_map="auto")

encoded_input = tokenizer.encode("Kto ma lepszą sztukę, ma lepszy rząd – to jasne.", return_tensors="pt").to(model.device)
outputs = model(encoded_input)

# HerBERT can also be loaded using AutoTokenizer and AutoModel:
from transformers import AutoModel, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained("allegro/herbert-klej-cased-tokenizer-v1")
model = AutoModel.from_pretrained("allegro/herbert-klej-cased-v1", device_map="auto")

Herbert uygulaması, BERT ile aynıdır; tek fark tokenizasyon yöntemidir. API referansı ve örnekler için BERT belgelendirmesine bakın.

HerbertTokenizer