Hugging Face's logo

PEFT documentation

LyCORIS

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.21.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

LyCORIS

LyCORIS (Lora beYond Conventional methods, Other Rank adaptation Implementations for Stable diffusion) são adaptadores de decomposição de matrizes semelhantes a LoRA que modificam a camada de cross-attention do UNet. Os métodos LoHa e LoKr herdam das classes Lycoris aqui.

LycorisConfig

classe peft.tuners.lycoris_utils.LycorisConfig

< >

( task_type: Optional[Union[str, TaskType]] = Nonepeft_type: Optional[Union[str, PeftType]] = Noneauto_mapping: Optional[dict] = Nonepeft_version: Optional[str] = Nonebase_model_name_or_path: Optional[str] = Nonerevision: Optional[str] = Noneinference_mode: bool = Falserank_pattern: Optional[dict] = <factory>alpha_pattern: Optional[dict] = <factory> )

Configuração base para adaptadores como LyCORIS

LycorisLayer

classe peft.tuners.lycoris_utils.LycorisLayer

< >

( base_layer: nn.Module )

Uma camada base para adaptadores como os do LyCORIS

merge

< >

( safe_merge: bool = Falseadapter_names: Optional[list[str]] = None )

Parâmetros

  • safe_merge (bool, opcional) — Se True, a operação de mesclagem será executada em uma cópia dos pesos originais e verificará a presença de NaNs antes de mesclar os pesos. Isso é útil se você deseja verificar se a operação de mesclagem produzirá NaNs. O valor padrão é False.
  • adapter_names (List[str], opcional) — A lista de nomes de adaptadores que devem ser mesclados. Se None, todos os adaptadores ativos serão mesclados. Padrão: None.

Mergear os pesos do adaptador ativo nos pesos base

unmerge

< >

( )

Este método desmergeia todas as camadas de adaptador mescladas dos pesos base.

LycorisTuner

classe peft.tuners.lycoris_utils.LycorisTuner

< >

( modelpeft_config: Union[PeftConfig, dict[str, PeftConfig]]adapter_name: strlow_cpu_mem_usage: bool = Falsestate_dict: Optional[dict[str, torch.Tensor]] = None )

Parâmetros

  • model (torch.nn.Module) — O modelo a ser adaptado.
  • config (LoraConfig) — A configuração do modelo Lora.
  • adapter_name (str) — O nome do adaptador, padrão é "default".
  • low_cpu_mem_usage (bool, optional, defaults to False) — Cria pesos de adaptador vazios no dispositivo meta. Útil para acelerar o processo de carregamento.

Um tuner base para adaptadores como os do LyCORIS

Update on GitHub

←LoRA MiSS→