AdaLoRA

AdaLoRA (LoRA التكيفي) هي طريقة لتحسين عدد المعاملات القابلة للتدريب المخصصة لمصفوفات الأوزان والطبقات، على عكس LoRA التي توزع المعاملات بالتساوي عبر جميع الوحدات. يتم تخصيص ميزانية أكبر من المعاملات لمصفوفات الأوزان والطبقات المهمة، بينما تحصل الأقل أهمية على عدد أقل من المعاملات. يمكنك التحكم في الرتبة المتوسطة المطلوبة أو r للمصفوفات، والوحدات التي سيتم تطبيق AdaLoRA عليها باستخدام target_modules. من بين المعاملات المهمة الأخرى التي يجب ضبطها lora_alpha (عامل التوسع)، وmodules_to_save (الوحدات التي سيتم تدريبها وحفظها بخلاف طبقات AdaLoRA). جميع هذه المعاملات - وغيرها - موجودة في AdaLoraConfig.

ملخص الورقة البحثية هو:

أصبح ضبط النماذج اللغوية الكبيرة المُدرَّبة مسبقًا على المهام الفرعية نموذجًا مهمًا في معالجة اللغة الطبيعية. ومع ذلك، فإن الممارسة الشائعة تقوم بضبط جميع المعاملات في النموذج المُدرَّب مسبقًا، وهو أمر غير عملي عندما يكون هناك عدد كبير من المهام الفرعية. لذلك، تم اقتراح العديد من طرق الضبط لتعلم التحديثات التفاضلية للأوزان المُدرَّبة مسبقًا بطريقة فعالة من حيث المعاملات، مثل الزيادات ذات الرتبة المنخفضة. غالبًا ما توزّع هذه الطرق ميزانية التحديثات التفاضلية بالتساوي عبر جميع مصفوفات الأوزان المُدرَّبة مسبقًا، وتتجاهل الأهمية المتغيرة لمعاملات الأوزان المختلفة. ونتيجة لذلك، يكون أداء الضبط غير مثالي. لسد هذه الفجوة، نقترح AdaLoRA، الذي يوزّع ميزانية المعاملات بين مصفوفات الأوزان بشكل تكيفي وفقًا لدرجة أهميتها. على وجه التحديد، يُمثّل AdaLoRA التحديثات التفاضلية على شكل تحليل القيمة المفردة. يسمح هذا النهج الجديد لنا بقصّ القيم المفردة للتحديثات غير المهمة بفعالية، وهو ما يعني في جوهره تقليل ميزانية معاملاتها مع تجنّب حسابات SVD الدقيقة المكثفة. أجرينا تجارب موسّعة باستخدام عدة نماذج مُدرَّبة مسبقًا في معالجة اللغة الطبيعية، والإجابة على الأسئلة، وتوليد اللغة الطبيعية للتحقق من فعالية AdaLoRA. تُظهر النتائج أن AdaLoRA يُحقق تحسينًا ملحوظًا مقارنةً بالأساسيات، خاصةً في إعدادات الميزانية المنخفضة. كودنا متاح علنًا في https://github.com/QingruZhang/AdaLoRA.

يتميز AdaLoRA بطريقة update_and_allocate() يجب استدعاؤها في كل خطوة تدريب لتحديث ميزانية المعلمات والقناع، وإلا فلن يتم تنفيذ خطوة التكيف. ويتطلب ذلك كتابة حلقة تدريب مخصصة أو إنشاء فئة فرعية من Trainer لدمج هذه الطريقة. كمثال، راجع هذه حلقة التدريب المخصصة.

تدير AdaLoRA ميزانية المعلمات المقدمة من LoRA من خلال تخصيص عدد أكبر من المعلمات - أو بعبارة أخرى، رتبة أعلى r - للمصفوفات الوزنية المهمة التي تتكيف بشكل أفضل مع المهمة، وقصّ تلك الأقل أهمية. يتم التحكم في الرتبة بطريقة مشابهة لتحليل القيم المفردة (SVD). يتم تمثيل $\Delta W$ بمصفوفتين متعامدتين ومصفوفة قطرية تحتوي على القيم المفردة. تتجنب طريقة التمثيل هذه تطبيق SVD بشكل متكرر، وهو أمر مكلف حسابيًا. بناءً على هذه الطريقة، يتم تعديل رتبة $\Delta W$ وفقًا لدرجة الأهمية. $\Delta W$ يتم تقسيمه إلى ثلاثيات، وتُقيَّم كل ثلاثية وفقًا لمساهمتها في أداء النموذج. تُقصّ الثلاثيات ذات درجات الأهمية المنخفضة، وتُحتفظ بالثلاثيات ذات درجات الأهمية العالية للضبط الدقيق.

يتضمن التدريب باستخدام AdaLoRA ثلاث مراحل: مرحلة التهيئة، ومرحلة تخصيص الميزانية، والمرحلة النهائية. في مرحلة التهيئة، لا يُطبَّق تخصيص الميزانية، وبالتالي لا يتم تعديل الرتب. خلال مرحلة تخصيص الميزانية، يُطبَّق العملية الموصوفة أعلاه، وتُعاد توزيع الرتب وفقًا لميزانية محددة، بهدف منح المكيّفات (adapters) الأكثر أهمية رتبًا أعلى، والطبقات الأقل أهمية رتبًا أقل. عند الوصول إلى المرحلة النهائية، يكون تخصيص الميزانية قد انتهى، وتُعاد توزيع الرتب، لكن قد نواصل التدريب لبعض الوقت باستخدام الرتب المعاد توزيعها لتحسين الأداء بشكل أكبر.

مساهماتكم مرحّب بها: تحتاج هذه القسم إلى توضيح.

غير واضح كيفية قياس الأهمية. كما أن الشرح مكرر إلى حد ما ويمكن أن يستفيد من التجميع. راجع هنا لمعرفة كيفية المساهمة.

نظرة عامة على الاختبارات

الاستخدام

from peft import AdaLoraConfig, get_peft_model

config = AdaLoraConfig(
    r=8,
    init_r=12,
    tinit=200,
    tfinal=1000,
    deltaT=10,
    target_modules=["query", "value"],
    modules_to_save=["classifier"],
)
model = get_peft_model(model, config)
model.print_healthcheck()

[... training code ...]

model.update_and_allocate(step_idx)

واجهة برمجة التطبيقات

AdaLoraConfig

AdaLoraModel

>>> from transformers import AutoModelForSeq2SeqLM
>>> from peft import AdaLoraConfig, get_peft_model

>>> config = AdaLoraConfig(
...     peft_type="ADALORA",
...     task_type="SEQ_2_SEQ_LM",
...     init_r=12,
...     lora_alpha=32,
...     target_modules=["q", "v"],
...     lora_dropout=0.01,
...     total_step=1000,
... )
>>> model = AutoModelForSeq2SeqLM.from_pretrained("t5-base")
>>> adalora_model = get_peft_model(model, config)

>>> loss = model(**input).loss
>>> loss.backward()
>>> optimizer.step()
>>> model.base_model.update_and_allocate(i_step)
>>> optimizer.zero_grad()