Hugging Face's logo

PEFT documentation

دمج النموذج

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.21.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

دمج النموذج

توفر PEFT عدة أدوات داخلية لـ دمج محولات LoRA باستخدام طريقتي TIES وDARE.

peft.utils.merge_utils.prune

< >

( tensor: Tensordensity: floatmethod: typing.Literal['magnitude', 'random']rescale: bool = False ) → torch.Tensor

المعاملات

  • tensor (torch.Tensor) —المصفوفة المراد تقليمها.
  • density (float) — نسبة القيم التي يجب الحفاظ عليها. يجب أن تكون ضمن المجال [0,1].
  • method (str) — الطريقة المستخدمة للقص. يجب أن تكون إحدى القيم التالية: [“magnitude”, “random”].
  • rescale (bool) —ما إذا كان يجب إعادة مقياس النتيجة للحفاظ على القيمة المتوقعة للتENSOR الأصلي.

يعيد

torch.Tensor

الموتر المُقصّ.

اقصّ قيم تينسورات المهام بناءً على method.

peft.utils.merge_utils.calculate_majority_sign_mask

< >

( tensor: Tensormethod: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor

المعاملات

  • tensor (torch.Tensor) —المصفوفة التي سيتم استخراج القناع منها.
  • method (str) — الطريقة المستخدمة للحصول على القناع. يجب أن تكون إحدى القيم التالية: [“total”, “frequency”].

يعيد

torch.Tensor

قناع الإشارة الغالبة.

احصل على قناع الإشارة الغالبة عبر تينسورات المهام. تُرصّ تينسورات المهام على البُعد 0.

peft.utils.merge_utils.disjoint_merge

< >

( task_tensors: Tensormajority_sign_mask: Tensor ) → torch.Tensor

المعاملات

  • task_tensors (torch.Tensor) —متجهات المهمة التي سيتم دمجها.
  • majority_sign_mask (torch.Tensor) —قناع الإشارة السائدة عبر تينسورات المهمة.

يعيد

torch.Tensor

الموتر المدمج.

ادمج متجهات المهمة باستخدام الدمج المنفصل.

peft.utils.merge_utils.task_arithmetic

< >

( task_tensors: listweights: Tensor ) → torch.Tensor

المعاملات

  • task_tensors(List[torch.Tensor]) —متجهات المهمة التي سيتم دمجها.
  • weights (torch.Tensor) — أوزان تينسورات المهمة.

يعيد

torch.Tensor

الموتر المدمج.

ادمج متجهات المهمة باستخدام task arithmetic.

peft.utils.merge_utils.ties

< >

( task_tensors: listweights: Tensordensity: floatmajority_sign_method: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor

المعاملات

  • task_tensors(List[torch.Tensor]) —متجهات المهمة التي سيتم دمجها.
  • weights (torch.Tensor) — أوزان تينسورات المهمة.
  • density (float) — نسبة القيم التي يجب الحفاظ عليها. يجب أن تكون ضمن المجال [0,1].
  • majority_sign_method (str) — الطريقة المستخدمة للحصول على قناع الإشارة السائدة. يجب أن تكون واحدة من [“total”, “frequency”].

يعيد

torch.Tensor

الموتر المدمج.

ادمج متجهات المهمة باستخدام ties.

peft.utils.merge_utils.dare_linear

< >

( task_tensors: listweights: Tensordensity: float ) → torch.Tensor

المعاملات

  • task_tensors(List[torch.Tensor]) —متجهات المهمة التي سيتم دمجها.
  • weights (torch.Tensor) — أوزان تينسورات المهمة.
  • density (float) — نسبة القيم التي يجب الحفاظ عليها. يجب أن تكون ضمن المجال [0,1].

يعيد

torch.Tensor

الموتر المدمج.

ادمج متجهات المهمة باستخدام dare linear.

peft.utils.merge_utils.dare_ties

< >

( task_tensors: listweights: Tensordensity: floatmajority_sign_method: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor

المعاملات

  • task_tensors(List[torch.Tensor]) —متجهات المهمة التي سيتم دمجها.
  • weights (torch.Tensor) — أوزان تينسورات المهمة.
  • density (float) — نسبة القيم التي يجب الحفاظ عليها. يجب أن تكون ضمن المجال [0,1].
  • majority_sign_method (str) — الطريقة المستخدمة للحصول على قناع الإشارة السائدة. يجب أن تكون واحدة من [“total”, “frequency”].

يعيد

torch.Tensor

الموتر المدمج.

ادمج متجهات المهمة باستخدام dare ties.

Update on GitHub

←X-LoRA أدوات مساعدة→