PEFT documentation
حقن المُكيِّف
حقن المُكيِّف
باستخدام PEFT، يمكنك حقّ مُكيّفات قابلة للتدريب في أي وحدة torch، مما يتيح لك استخدام طرق المُكيّفات دون الاعتماد على فئات النمذجة في PEFT. يعمل هذا مع جميع المُكيّفات باستثناء تلك القائمة على تعلّم المُوجّهات (مثل ضبط البادئة أو p-tuning) والمُكيّفات التي تحتفظ بحالة مشتركة بين طبقات مستهدفة متعددة.
راجع الجدول أدناه لمعرفة متى يجب حقّ المُكيّفات.
| المزايا | العيوب |
|---|---|
| يتم تعديل النموذج في مكانه، مع الحفاظ على جميع الخصائص والطرق الأصلية | اكتب يدويًا دالتي الأداة from_pretrained وsave_pretrained من Hugging Face لحفظ المحاكيات وتحميلها |
يعمل مع أي وحدة torch وأي نمط | لا يعمل مع أيٍّ من طرق الأداة التي يوفرها PeftModel مثل تعطيل المكيّفات ودمجها |
لا يدعم
inject_adapter_in_modelطرق PEFT التي تحتفظ بحالة المُكيّف (adapter) مشتركة بين عدة طبقات مستهدفة. وتشمل هذه حاليًا TinyLoRA وUniLoRA وVeRA وPVeRA وVBLoRA وFRoD. استخدم get_peft_model() لهذه الطرق بدلاً من ذلك.
إنشاء نموذج PEFT جديد
لتنفيذ حقن المُكيّف، استخدم طريقة inject_adapter_in_model(). تستقبل هذه الطريقة ثلاثة حُجج: إعدادات PEFT، والنموذج، واسم المُكيّف الاختياري. كما يمكنك إرفاق عدة مُكيّفات بالنموذج إذا استدعيت inject_adapter_in_model() عدة مرات باستخدام أسماء مُكيّفات مختلفة.
على سبيل المثال، لحقن محولات LoRA في وحدة linear الفرعية من وحدة DummyModel:
import torch
from peft import inject_adapter_in_model, LoraConfig
class DummyModel(torch.nn.Module):
def __init__(self):
super().__init__()
self.embedding = torch.nn.Embedding(10, 10)
self.linear = torch.nn.Linear(10, 10)
self.lm_head = torch.nn.Linear(10, 10)
def forward(self, input_ids):
x = self.embedding(input_ids)
x = self.linear(x)
x = self.lm_head(x)
return x
lora_config = LoraConfig(
lora_alpha=16,
lora_dropout=0.1,
r=64,
bias="none",
target_modules=["linear"],
)
model = DummyModel()
model = inject_adapter_in_model(lora_config, model)
dummy_inputs = torch.LongTensor([[0, 1, 2, 3, 4, 5, 6, 7]])
dummy_outputs = model(dummy_inputs)اطبع النموذج للتأكد من أن المُكيّفات قد تم حقنها بشكل صحيح.
DummyModel(
(embedding): Embedding(10, 10)
(linear): Linear(
in_features=10, out_features=10, bias=True
(lora_dropout): ModuleDict(
(default): Dropout(p=0.1, inplace=False)
)
(lora_A): ModuleDict(
(default): Linear(in_features=10, out_features=64, bias=False)
)
(lora_B): ModuleDict(
(default): Linear(in_features=64, out_features=10, bias=False)
)
(lora_embedding_A): ParameterDict()
(lora_embedding_B): ParameterDict()
)
(lm_head): Linear(in_features=10, out_features=10, bias=True)
)الحقن بناءً على state_dict
في بعض الأحيان، قد يكون هناك نقطة تحقق (checkpoint) لمُكيّف PEFT بينما لا يُعرف تكوين PEFT المقابل لأي سبب كان. ولحقن طبقات PEFT لهذه النقطة، كان عليك عادةً أن تستنتج تكوين PEFT المقابل، ولا سيما حجة target_modules، بناءً على state_dict من نقطة التحقق. وقد يكون ذلك متعباً وعرضة للأخطاء. ولتجنب ذلك، من الممكن أيضاً استدعاء inject_adapter_in_model() ومرور state_dict المحمّل كحجة:
from safetensors.torch import load_file
model = ...
state_dict = load_file(<path-to-safetensors-file>)
lora_config = LoraConfig(...)
model = inject_adapter_in_model(lora_config, model, state_dict=state_dict)في هذه الحالة، سيقوم PEFT باستخدام state_dict كمرجع للطبقات المستهدفة بدلاً من استخدام إعداد PEFT. كمستخدم، لا يتعين عليك تحديد target_modules الدقيق في إعداد PEFT لكي يعمل هذا. ومع ذلك، يجب عليك ما زال تمرير إعداد PEFT من النوع الصحيح، في هذا المثال LoraConfig، ويمكنك ترك target_modules كـ None.
انتبه إلى أن هذا لا يزال ينشئ طبقات PEFT غير المهيأة فقط، حيث لا تُستخدم القيم من state_dict لملء أوزان النموذج. لملء الأوزان، تابع استدعاء set_peft_model_state_dict() كما هو موضح أدناه.
⚠️ لاحظ أنه في حال وجود عدم تطابق بين ما هو مُعدّ في إعدادات PEFT وما يُعثر عليه في state_dict، فإن PEFT سيُصدر تحذيرًا بشأن ذلك. يمكنك تجاهل التحذير إذا كنت على علم بأن إعدادات PEFT غير مُحددة بشكل صحيح.
إذا كان مُكيّفات PEFT الأصلية تستخدم
target_parametersبدلاً منtarget_modules، فلن يعمل الحقن منstate_dictبشكل صحيح. في هذه الحالة، من الضروري استخدام إعداد PEFT الصحيح للتحقن.
حفظ النموذج
لحفظ المُكيّف فقط، استخدم دالة get_peft_model_state_dict():
from peft import get_peft_model_state_dict
peft_state_dict = get_peft_model_state_dict(model)
print(peft_state_dict)وإلا، يعيد model.state_dict() قاموس الحالة الكامل للنموذج.
تحميل النموذج
بعد تحميل state_dict المحفوظ، يمكن تطبيقه باستخدام دالة set_peft_model_state_dict():
from peft import set_peft_model_state_dict
model = DummyModel()
model = inject_adapter_in_model(lora_config, model)
outcome = set_peft_model_state_dict(model, peft_state_dict)
# check that there were no wrong keys
print(outcome.unexpected_keys)إذا كان حقن المُكيّف بطيئًا أو كنت بحاجة إلى تحميل عدد كبير من المُكيّفات، يمكنك استخدام تحسين يسمح بإنشاء مُكيّف “فارغ” على جهاز meta وملء الأوزان بالأوزان الفعلية فقط عند استدعاء set_peft_model_state_dict(). للقيام بذلك، مرّر low_cpu_mem_usage=True إلى كل من inject_adapter_in_model() و set_peft_model_state_dict().
model = DummyModel()
model = inject_adapter_in_model(lora_config, model, low_cpu_mem_usage=True)
print(model.linear.lora_A["default"].weight.device.type == "meta") # should be True
set_peft_model_state_dict(model, peft_state_dict, low_cpu_mem_usage=True)
print(model.linear.lora_A["default"].weight.device.type == "cpu") # should be Trueلتحميل الأوزان من المستودع، هناك الدالة منخفضة المستوى load_peft_weights():
state_dict = load_peft_weights("my-account/my-adapter-repo")ضبط وتحميل الأوزان الأساسية
تعتمد الدوال المذكورة أعلاه على قاموس الحالة الخاص بـ adapter. كما توجد حالات تتطلب قراءة أوزان base model أو كتابتها عبر غلاف PEFT. وهذا ليس أمراً بديهياً تماماً، لأن PEFT يعيد تسمية معاملات الوحدات المستهدفة (على سبيل المثال، يتحول q_proj.weight إلى q_proj.base_layer.weight) ويضيف معاملات adapter غير موجودة في النموذج الأساسي. استخدم get_base_model_state_dict() وset_base_model_state_dict() للترجمة بين التسميتين:
from peft import LoraConfig, get_peft_model, get_base_model_state_dict, set_base_model_state_dict
from transformers import AutoModelForCausalLM
model = AutoModelForCausalLM.from_pretrained("facebook/opt-125m")
model = get_peft_model(model, LoraConfig(target_modules="all-linear"))
# state dict with the original (pre-PEFT) key names, adapter parameters excluded
base_state_dict = get_base_model_state_dict(model)
# load a state dict with original key names into the PEFT-wrapped model
outcome = set_base_model_state_dict(model, base_state_dict, strict=False)
# check that there were no wrong keys
print(outcome.missing_keys, outcome.unexpected_keys)يتمثل الاستخدام الرئيسي لهذا في تحميل الأوزان الأساسية بعد أن يكون النموذج قد تم تغليفه بالفعل بواسطة PEFT. على سبيل المثال، تُهيّئ إعدادات التدريب باستخدام FSDP مثل TorchTitan النموذج على جهاز meta، وتطبّق PEFT، ثم تقسّم النتيجة. لا توجد ذاكرة فعلية إلا بعد التقسيم، لذا يجب تحميل نقطة التفتيش، التي تستخدم المفاتيح بأسمائها الأصلية، في النموذج المُغلّف مسبقًا. لاحظ أن get_base_model_state_dict() يعيد الموترات الحية للنموذج، وليس نسخًا منها.