Hugging Face's logo

PEFT documentation

Fusão de modelos

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.21.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Fusão de modelos

O PEFT fornece vários utilitários internos para mesclar adaptadores LoRA com os métodos TIES e DARE.

peft.utils.merge_utils.prune

< >

( tensor: Tensordensity: floatmethod: typing.Literal['magnitude', 'random']rescale: bool = False ) → torch.Tensor

Parâmetros

  • tensor (torch.Tensor) — O tensor a ser podado.
  • density (float) —A fração de valores a serem preservados. Deve estar em [0,1].
  • method (str) — O método a ser usado para o pruning. Deve ser um de [“magnitude”, “random”].
  • rescale (bool) —Se deve reescalar o resultado para preservar o valor esperado do tensor original.

Retorna

torch.Tensor

O tensor podado.

Prune os valores dos tensors de tarefa com base no method.

peft.utils.merge_utils.calculate_majority_sign_mask

< >

( tensor: Tensormethod: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor

Parâmetros

  • tensor (torch.Tensor) — O tensor do qual se obterá a máscara.
  • method (str) — O método a ser usado para obter a máscara. Deve ser um dos valores ["total", "frequency"].

Retorna

torch.Tensor

A máscara da maioria dos sinais.

Obtenha a máscara do sinal da maioria entre os tensores de tarefa. Os tensores de tarefa são empilhados na dimensão 0.

peft.utils.merge_utils.disjoint_merge

< >

( task_tensors: Tensormajority_sign_mask: Tensor ) → torch.Tensor

Parâmetros

  • task_tensors (torch.Tensor) —Os tensors de tarefa a serem mesclados.
  • majority_sign_mask (torch.Tensor) —A máscara do sinal da maioria entre os tensors da tarefa.

Retorna

torch.Tensor

O tensor mesclado.

Mescle os tensores de tarefa usando a mesclagem disjunta.

peft.utils.merge_utils.task_arithmetic

< >

( task_tensors: listweights: Tensor ) → torch.Tensor

Parâmetros

  • task_tensors(List[torch.Tensor]) —Os tensors de tarefa a serem mesclados.
  • weights (torch.Tensor) — Os pesos dos tensores da tarefa.

Retorna

torch.Tensor

O tensor mesclado.

Mescle os tensores da tarefa usando task arithmetic.

peft.utils.merge_utils.ties

< >

( task_tensors: listweights: Tensordensity: floatmajority_sign_method: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor

Parâmetros

  • task_tensors(List[torch.Tensor]) —Os tensors de tarefa a serem mesclados.
  • weights (torch.Tensor) — Os pesos dos tensores da tarefa.
  • density (float) —A fração de valores a serem preservados. Deve estar em [0,1].
  • majority_sign_method (str) — O método a ser usado para obter a máscara de sinal da maioria. Deve ser um dos valores [“total”, “frequency”].

Retorna

torch.Tensor

O tensor mesclado.

Mescle os tensores da tarefa usando ties.

peft.utils.merge_utils.dare_linear

< >

( task_tensors: listweights: Tensordensity: float ) → torch.Tensor

Parâmetros

  • task_tensors(List[torch.Tensor]) —Os tensors de tarefa a serem mesclados.
  • weights (torch.Tensor) — Os pesos dos tensores da tarefa.
  • density (float) —A fração de valores a serem preservados. Deve estar em [0,1].

Retorna

torch.Tensor

O tensor mesclado.

Mescle os tensores da tarefa usando dare linear.

peft.utils.merge_utils.dare_ties

< >

( task_tensors: listweights: Tensordensity: floatmajority_sign_method: typing.Literal['total', 'frequency'] = 'total' ) → torch.Tensor

Parâmetros

  • task_tensors(List[torch.Tensor]) —Os tensors de tarefa a serem mesclados.
  • weights (torch.Tensor) — Os pesos dos tensores da tarefa.
  • density (float) —A fração de valores a serem preservados. Deve estar em [0,1].
  • majority_sign_method (str) — O método a ser usado para obter a máscara de sinal da maioria. Deve ser um dos valores [“total”, “frequency”].

Retorna

torch.Tensor

O tensor mesclado.

Mescle os tensores da tarefa usando dare ties.

Update on GitHub

←X-LoRA Funções auxiliares→