RandLora: Tinh chỉnh hiệu quả tham số bậc đầy đủ cho các mô hình lớn

RandLora là một kỹ thuật tinh chỉnh hiệu quả về tham số, tương tự như LoRA và VeRA nhưng thực hiện cập nhật bậc đầy đủ để cải thiện hiệu suất. RandLora đặc biệt hữu ích khi thích ứng các mô hình lớn với những tác vụ khó đòi hỏi các cập nhật phức tạp, đồng thời vẫn giữ được hiệu quả về tham số của LoRA. Việc cập nhật bậc đầy đủ của RandLora được thực hiện bằng cách mở rộng tuyến tính các cơ sở ngẫu nhiên. Các cơ sở ngẫu nhiên là một tập hợp nhiều ma trận bậc thấp sao cho tổng bậc của chúng lớn hơn hoặc bằng bậc đầy đủ của các ma trận tham số. Các tham số có thể huấn luyện của RandLora là hai ma trận đường chéo (vector) được nhân với các cơ sở ngẫu nhiên bậc thấp ở vế phải, theo cách tương tự như cập nhật của VeRA. Để duy trì mức sử dụng bộ nhớ thấp, RandLora sử dụng một hàm tùy chỉnh ngăn việc lưu trữ các cơ sở không cần thiết trong bộ nhớ cho quá trình lan truyền ngược.

RandLora có một điểm khác biệt đáng chú ý: trái ngược với các thuật toán PEFT tương tự LoRA khác, việc tăng các bậc cơ sở ngẫu nhiên của RandLora sẽ làm tăng số lượng tham số có thể huấn luyện. Vì tích của số lượng cơ sở và bậc của cơ sở là hằng số trong RandLora, việc giảm bậc sẽ làm tăng số lượng cơ sở ngẫu nhiên, do đó làm tăng số lượng cơ sở chéo có thể huấn luyện riêng cho từng cơ sở.

Việc giảm rank của các cơ sở ngẫu nhiên của RandLora sẽ làm tăng số lượng của chúng, do đó RandLora có thể chậm hơn khi huấn luyện so với LoRA ở các rank rất nhỏ, nơi mà thông thường, các rank dưới 4 sẽ dẫn đến thời gian huấn luyện tăng đáng kể. Tuy nhiên, điều này không ảnh hưởng đến suy luận vì các adapter của RandLora có thể được gộp vào các ma trận trọng số đã được huấn luyện trước.

RandLora cũng hỗ trợ huấn luyện với các cơ sở ngẫu nhiên thưa, ba trị (chỉ chứa -1, 0 và 1). Các cơ sở này được mô tả trong Bingham et al. và Ping et al. và về mặt lý thuyết có thể được sử dụng để giảm nhu cầu tính toán bằng cách thực hiện các phép tổng hợp thay vì nhân ma trận để tạo ra bản cập nhật trọng số. Tính năng này hiện chưa được hỗ trợ. Mặc dù hiện tại không giảm được lượng tính toán, việc sử dụng các cơ sở ngẫu nhiên thưa trong RandLora có thể giúp giảm hiện tượng quá khớp trong một số trường hợp. Đối với người dùng quan tâm đến việc sử dụng các cơ sở ba trị thưa, tùy chọn sparse được khuyến nghị hơn so với tùy chọn very_sparse vì tùy chọn sau có thể làm giảm hiệu suất.

Tương tự như VeRA, khi lưu các tham số của RandLora, bạn có thể bỏ qua việc lưu trữ các ma trận hạng thấp bằng cách đặt save_projection=False trong VeraConfig. Trong trường hợp đó, các ma trận này sẽ được khôi phục dựa trên hạt ngẫu nhiên cố định từ đối số projection_prng_key. Điều này giúp giảm kích thước của checkpoint, nhưng chúng tôi không thể đảm bảo khả năng tái lập trên tất cả các thiết bị và cho tất cả các phiên bản PyTorch trong tương lai. Nếu bạn muốn đảm bảo khả năng tái lập, hãy đặt save_projection=True (đây là mặc định).

Tương tự như Vera và để xử lý các hình dạng khác nhau của các lớp đã thích ứng, RandLora khởi tạo các ma trận A và B dùng chung với kích thước yêu cầu lớn nhất cho từng chiều. Trong quá trình truyền thuận, các ma trận con A và B cho một lớp cụ thể được cắt ra từ các ma trận dùng chung này và được sử dụng như đã mô tả trong bài báo. Ví dụ, việc thích ứng hai lớp tuyến tính có hình dạng (100, 20) và (80, 50) sẽ tạo ra các ma trận A và B có hình dạng lần lượt là (rank, 50) và (100, rank). Sau đó, để thích ứng một lớp có hình dạng (100, 20), các ma trận con A và B có hình dạng (rank, 20) và (100, rank) sẽ được trích xuất.

RandLora hiện có ràng buộc sau:

• Chỉ hỗ trợ các lớp nn.Linear.

Tóm tắt từ bài báo là:

Low-Rank Adaptation (LoRA) và các biến thể của nó đã cho thấy kết quả ấn tượng trong việc giảm số lượng tham số có thể huấn luyện và yêu cầu bộ nhớ của các mạng transformer lớn, đồng thời duy trì hiệu suất tinh chỉnh. Tuy nhiên, bản chất hạng thấp của việc cập nhật trọng số vốn dĩ giới hạn sức mạnh biểu diễn của các mô hình đã tinh chỉnh, do đó có thể làm suy giảm hiệu suất trên các tác vụ phức tạp. Điều này đặt ra một câu hỏi quan trọng: khi quan sát thấy khoảng cách hiệu suất giữa LoRA và tinh chỉnh tiêu chuẩn, nguyên nhân là do số lượng tham số có thể huấn luyện bị giảm hay do thiếu hạng? Bài báo này nhằm trả lời câu hỏi đó bằng cách giới thiệu RandLora, một phương pháp hiệu quả về tham số thực hiện các cập nhật hạng đầy đủ bằng cách sử dụng tổ hợp tuyến tính học được của các ma trận ngẫu nhiên hạng thấp, không thể huấn luyện. Phương pháp của chúng tôi giới hạn số lượng tham số có thể huấn luyện bằng cách hạn chế tối ưu hóa đối với các ma trận tỷ lệ chéo được áp dụng cho các ma trận ngẫu nhiên cố định. Điều này cho phép chúng tôi khắc phục hiệu quả các hạn chế hạng thấp trong khi vẫn duy trì hiệu quả về tham số và bộ nhớ trong quá trình huấn luyện. Thông qua các thí nghiệm rộng rãi trên các bộ chuẩn thị giác, ngôn ngữ và thị giác-ngôn ngữ, chúng tôi đánh giá có hệ thống các hạn chế của LoRA và các phương pháp cơ sở ngẫu nhiên hiện có. Các phát hiện của chúng tôi cho thấy các cập nhật hạng đầy đủ mang lại lợi ích cho các tác vụ thị giác và ngôn ngữ riêng lẻ, và thậm chí còn hơn nữa đối với các tác vụ thị giác-ngôn ngữ, nơi RandLora giảm đáng kể---và đôi khi loại bỏ---khoảng cách hiệu suất giữa tinh chỉnh tiêu chuẩn và LoRA, chứng minh hiệu quả của nó.

Tổng quan về benchmark

API

RandLoraConfig

RandLoraModel

>>> from transformers import AutoModelForCausalLM
>>> from peft import RandLoraConfig, get_peft_model

>>> base_model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
>>> config = RandLoraConfig(r=32)
>>> model = get_peft_model(base_model, config)