Hugging Face's logo

Diffusers documentation

AutoencoderKLLTX2Video

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLLTX2Video

O modelo de autoencoder variacional 3D (VAE) com perda KL usado em LTX-2 foi introduzido pela Lightricks.

O modelo pode ser carregado com o seguinte trecho de código.

from diffusers import AutoencoderKLLTX2Video

vae = AutoencoderKLLTX2Video.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLLTX2Video

classe diffusers.AutoencoderKLLTX2Video

< >

( in_channels: int = 3out_channels: int = 3latent_channels: int = 128block_out_channels: tuple[int, ...] = (256, 512, 1024, 2048)down_block_types: tuple[str, ...] = ('LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D')decoder_block_out_channels: tuple[int, ...] = (256, 512, 1024)layers_per_block: tuple[int, ...] = (4, 6, 6, 2, 2)decoder_layers_per_block: tuple[int, ...] = (5, 5, 5, 5)spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True, True)decoder_spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True)decoder_inject_noise: bool | tuple[bool, ...] = (False, False, False, False)downsample_type: tuple[str, ...] = ('spatial', 'temporal', 'spatiotemporal', 'spatiotemporal')upsample_type: tuple[str, ...] = ('spatiotemporal', 'spatiotemporal', 'spatiotemporal')upsample_residual: bool | tuple[bool, ...] = (True, True, True)upsample_factor: tuple[int, ...] = (2, 2, 2)timestep_conditioning: bool = Falsepatch_size: int = 4patch_size_t: int = 1resnet_norm_eps: float = 1e-06scaling_factor: float = 1.0encoder_causal: bool = Truedecoder_causal: bool = Trueencoder_spatial_padding_mode: str = 'zeros'decoder_spatial_padding_mode: str = 'reflect'spatial_compression_ratio: int = Nonetemporal_compression_ratio: int = None )

Parâmetros

  • in_channels (int, padrão 3) — Número de canais de entrada.
  • out_channels (int, padrão 3) — Número de canais de saída.
  • latent_channels (int, padrão 128) — Número de canais latentes.
  • block_out_channels (tuple[int, ...], padrão (128, 256, 512, 512)) — O número de canais de saída para cada bloco.
  • spatio_temporal_scaling (tuple[bool, ...], defaults to (True, True, True, False)` — Se um bloco deve ou não conter redução espaço-temporal.
  • layers_per_block (tuple[int, ...], padrão (4, 3, 3, 3, 4)) — O número de camadas por bloco.
  • patch_size (int, padrão 4) — O tamanho dos patches espaciais.
  • patch_size_t (int, padrão 1) — O tamanho dos patches temporais.
  • resnet_norm_eps (float, padrão 1e-6) — Valor de epsilon para as camadas de normalização do ResNet.
  • scaling_factor (float, opcional, padrão 1.0) — O desvio padrão por componente do espaço latente treinado, calculado usando o primeiro lote do conjunto de treinamento. Isso é usado para escalar o espaço latente para ter variância unitária durante o treinamento do modelo de difusão. Os latentes são escalados com a fórmula z = z * scaling_factor antes de serem passados para o modelo de difusão. Ao decodificar, os latentes são escalados de volta para a escala original com a fórmula: z = 1 / scaling_factor * z. Para mais detalhes, consulte as seções 4.3.2 e D.1 do artigo High-Resolution Image Synthesis with Latent Diffusion Models.
  • encoder_causal (bool, padrão True) — Se o codificador deve se comportar de forma causal (quadros futuros dependem apenas de quadros passados) ou não.
  • decoder_causal (bool, padrão False) — Se o decodificador deve se comportar de forma causal (quadros futuros dependem apenas de quadros passados) ou não.

Um modelo VAE com perda KL para codificar imagens em latentes e decodificar representações latentes em imagens. Usado no LTX-2.

Este modelo herda de ModelMixin. Consulte a documentação da superclasse para seus métodos genéricos implementados para todos os modelos (como download ou salvamento).

decode

< >

( z: Tensortemb: typing.Optional[torch.Tensor] = Nonecausal: bool | None = Nonereturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parâmetros

  • z (torch.Tensor) — Lote de entrada de vetores latentes.
  • return_dict (bool, opcional, padrão True) — Se deve retornar um ~models.vae.DecoderOutput em vez de uma tupla simples.

Retorna

~models.vae.DecoderOutput ou tuple

Se return_dict for True, um ~models.vae.DecoderOutput é retornado, caso contrário, uma tuple simples é retornada.

Decodifique um lote de imagens.

encode

< >

( x: Tensorcausal: bool | None = Nonereturn_dict: bool = True )

Parâmetros

  • x (torch.Tensor) — Lote de entrada de imagens.
  • return_dict (bool, opcional, padrão True) — Se deve retornar um ~models.autoencoder_kl.AutoencoderKLOutput em vez de uma tupla simples.

Codifica um lote de imagens em latentes.

enable_tiling

< >

( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_sample_min_num_frames: int | None = Nonetile_sample_stride_height: float | None = Nonetile_sample_stride_width: float | None = Nonetile_sample_stride_num_frames: float | None = None )

Parâmetros

  • tile_sample_min_height (int, opcional) — A altura mínima necessária para que uma amostra seja separada em tiles ao longo da dimensão de altura.
  • tile_sample_min_width (int, opcional) — A largura mínima necessária para que uma amostra seja separada em tiles ao longo da dimensão de largura.
  • tile_sample_stride_height (int, opcional) — A quantidade mínima de sobreposição entre duas tiles verticais consecutivas. Isso garante que não haja artefatos de tiling produzidos ao longo da dimensão de altura.
  • tile_sample_stride_width (int, opcional) — O deslocamento entre duas tiles horizontais consecutivas. Isso garante que não sejam produzidos artefatos de tiling ao longo da dimensão de largura.

Ativa a decodificação do VAE em blocos (tiled). Quando essa opção está ativada, o VAE divide o tensor de entrada em blocos para calcular a decodificação e a codificação em várias etapas. Isso é útil para economizar uma grande quantidade de memória e permitir o processamento de imagens maiores.

forward

< >

( sample: Tensortemb: typing.Optional[torch.Tensor] = Nonesample_posterior: bool = Falseencoder_causal: bool | None = Nonedecoder_causal: bool | None = Nonereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parâmetros

  • sample (torch.Tensor) — Amostra de entrada.
  • temb (torch.Tensor, opcional) — Tensor opcional de incorporação de passo de tempo usado para condicionar o decodificador.
  • sample_posterior (bool, opcional, padrão False) — Se deve amostrar da posterior.
  • encoder_causal (bool, opcional) — Se o encoder deve usar convoluções causais. Se None, usa o padrão do modelo.
  • decoder_causal (bool, opcional) — Se o decodificador deve usar convoluções causais. Se None, usa o padrão do modelo.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um DecoderOutput em vez de uma tupla simples.
  • generator (torch.Generator, opcional) — Um torch.Generator para tornar a amostragem determinística.

Retorna

~models.vae.DecoderOutput ou tuple

Se return_dict for True, um ~models.vae.DecoderOutput é retornado; caso contrário, uma tuple simples é retornada.

tiled_decode

< >

( z: Tensortemb: typing.Optional[torch.Tensor]causal: bool | None = Nonereturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parâmetros

  • z (torch.Tensor) — Lote de entrada de vetores latentes.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um ~models.vae.DecoderOutput em vez de uma tupla simples.

Retorna

~models.vae.DecoderOutput ou tuple

Se return_dict for True, um ~models.vae.DecoderOutput é retornado, caso contrário, uma tuple simples é retornada.

Decodifique um lote de imagens usando um decodificador em mosaico.

tiled_encode

< >

( x: Tensorcausal: bool | None = None ) → torch.Tensor

Parâmetros

  • x (torch.Tensor) — Lote de entrada de vídeos.

Retorna

torch.Tensor

A representação latente dos vídeos codificados.

Codifique um lote de imagens usando um codificador em mosaico.

Update on GitHub

←AutoencoderKLLTX2Audio AutoencoderKLLTXVideo→