BEFT: Tinh chỉnh hiệu quả độ lệch của các mô hình ngôn ngữ trong các chế độ dữ liệu thấp

BEFT là một thuật toán tinh chỉnh hiệu quả tham số (PEFT) chỉ tinh chỉnh các số hạng bias được thêm vào của các phép chiếu giá trị (value projections) từ các mô hình transformer được huấn luyện trước. BEFT cho thấy việc tinh chỉnh các số hạng bias được thêm vào của các phép chiếu giá trị từ các transformer được huấn luyện trước thường dẫn đến hiệu suất downstream cao hơn trong các chế độ dữ liệu thấp so với việc tinh chỉnh các số hạng bias được thêm vào của các phép chiếu truy vấn/khóa (query/key projections).

BEFT hiện có các đánh đổi sau:

Ưu điểm:

• BEFT yêu cầu ít tham số hơn nhiều so với LoRA, trong khi vẫn duy trì hiệu suất cạnh tranh hoặc vượt trội trên các tác vụ trong các chế độ dữ liệu thấp.

Nhược điểm:

• Trong các chế độ dữ liệu lớn, BEFT có thể cho thấy hiệu quả hạn chế so với LoRA và fine-tuning toàn bộ tham số.

Nếu trường hợp sử dụng của bạn thuộc về chế độ dữ liệu lớn, hãy cân nhắc các phương pháp PEFT khác như LoRA.

Tóm tắt từ bài báo là:

Việc tinh chỉnh các số hạng bias của các mô hình ngôn ngữ lớn (LLM) có tiềm năng đạt được hiệu quả tham số chưa từng có trong khi vẫn duy trì hiệu suất cạnh tranh, đặc biệt là trong các chế độ dữ liệu thấp. Tuy nhiên, mối liên hệ giữa việc tinh chỉnh các số hạng bias khác nhau (tức là b_q, b_k và b_v trong các phép chiếu query, key hoặc value) với hiệu suất của các tác vụ hạ nguồn vẫn còn khá mơ hồ cho đến nay. Trong bài báo này, chúng tôi nghiên cứu mối liên hệ giữa việc tinh chỉnh b_q, b_k và b_v với hiệu suất của tác vụ hạ nguồn. Phát hiện chính của chúng tôi là việc tinh chỉnh trực tiếp b_v thường dẫn đến hiệu suất hạ nguồn cao hơn trong các chế độ dữ liệu thấp, so với b_q và b_k. Chúng tôi đánh giá rộng rãi đặc tính độc đáo này trên một phạm vi rộng các LLM trải dài từ kiến trúc chỉ có encoder đến chỉ có decoder với quy mô lên đến 6,7 tỷ tham số (bao gồm cả các LLM không có bias). Kết quả của chúng tôi cung cấp bằng chứng mạnh mẽ cho hiệu quả của việc tinh chỉnh trực tiếp b_v trên nhiều tác vụ hạ nguồn khác nhau.

Tổng quan về benchmark

API

BeftConfig

BeftModel

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import BeftConfig, get_peft_model

>>> config = BeftConfig(
...     task_type="SEQ_2_SEQ_LM",
...     target_modules=["v"],
... )

>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> beft_model = get_peft_model(model, config)