이 모델은 2021-05-28에 HF papers에 게시되었으며, 2021-06-01에 Hugging Face Transformers에 기여되었습니다.

ByT5

ByT5는 T5 모델의 토크나이저가 없는 버전으로, 원시 UTF-8 바이트를 직접 처리하도록 설계되었습니다. 이를 통해 모든 언어를 처리할 수 있으며, 오타와 같은 노이즈에 더 강건하고, 전처리 파이프라인이 필요하지 않아 사용이 더 간단합니다.

모든 원본 ByT5 체크포인트는 Google 조직에서 찾을 수 있습니다.

ByT5를 다양한 언어 작업에 적용하는 방법에 대한 추가 예제는 T5 문서를 참조하세요.

아래 예제는 Pipeline, AutoModel 및 명령줄을 사용하여 텍스트를 생성하는 방법을 보여줍니다.

from transformers import AutoModelForSeq2SeqLM, AutoTokenizer


tokenizer = AutoTokenizer.from_pretrained(
    "google/byt5-small"
)
model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-small",
    device_map="auto"
)

input_ids = tokenizer("summarize: Photosynthesis is the process by which plants, algae, and some bacteria convert light energy into chemical energy.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

양자화

Quantization은 가중치를 더 낮은 정밀도로 표현하여 대규모 모델의 메모리 부담을 줄입니다. 사용 가능한 다른 양자화 백엔드에 대해서는 Quantization 개요를 참조하세요.

아래 예제는 torchao를 사용하여 가중치만 int4로 양자화합니다.

# pip install torchao
from transformers import AutoModelForSeq2SeqLM, AutoTokenizer, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)

model = AutoModelForSeq2SeqLM.from_pretrained(
    "google/byt5-xl",
    device_map="auto",
    quantization_config=quantization_config
)

tokenizer = AutoTokenizer.from_pretrained("google/byt5-xl")
input_ids = tokenizer("translate English to French: The weather is nice today.", return_tensors="pt").to(model.device)

output = model.generate(**input_ids)
print(tokenizer.decode(output[0], skip_special_tokens=True))

The input is a single word "Notes". 참고

• 토크나이저를 배치 추론 및 학습에 사용하는 것이 권장됩니다.

• 아래 예시는 토크나이저 없이 모델을 사용하는 방법을 보여줍니다.

  복사됨

  import torch
  from transformers import AutoModelForSeq2SeqLM
  
  model = AutoModelForSeq2SeqLM.from_pretrained("google/byt5-small", device_map="auto")
  
  num_special_tokens = 3
  
  input_ids = torch.tensor([list("Life is like a box of chocolates.".encode("utf-8"))]) + num_special_tokens
  labels = torch.tensor([list("La vie est comme une boîte de chocolat.".encode("utf-8"))]) + num_special_tokens
  loss = model(input_ids, labels=labels).loss
  loss.item()

• ByT5는 {extra_id_0}와 같은 sentinel token 대신 마스킹을 위해 상위 바이트 값(258, 257 등)을 사용합니다.

  복사됨

  # Example: character-level denoising with mask tokens
  input_ids = tokenizer("The dog chases a ball in the park.").input_ids
  masked_input = torch.tensor([input_ids[:8] + [258] + input_ids[14:21] + [257] + input_ids[28:]])
  output = model.generate(masked_input, max_length=100)

ByT5Tokenizer