Transformers documentation

VidEoMT

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2026-02-19에 HF papers에 게시되었으며, 2026-03-25에 Hugging Face Transformers에 기여되었습니다.

VidEoMT

개요

VidEoMT 모델은 Narges Norouzi, Idil Esen Zulfikar, Niccolò Cavagnero, Tommie Kerssies, Bastian Leibe, Gijs Dubbelman, Daan de Geus가 발표한 Your ViT is Secretly Also a Video Segmentation Model에서 제안되었습니다. Video Encoder-only Mask Transformer(VidEoMT)는 평범한 Vision Transformer (ViT)를 기반으로 구축된 온라인 비디오 분할을 위한 경량 encoder-only 모델입니다. 이는 EoMT를 비디오로 확장한 최소한의 변형으로, 전용 추적 모듈이나 무거운 작업 특화 헤드를 사용하지 않고 ViT 인코더 내에서 공간적 및 시간적 추론을 모두 수행합니다.

해당 논문의 초록은 다음과 같습니다:

기존의 온라인 비디오 분할 모델은 프레임별 분할기와 복잡한 전용 추적 모듈을 결합하는 것이 일반적입니다. 이러한 방식은 효과적이지만, 상당한 아키텍처 복잡성과 계산 오버헤드를 유발합니다. 최근 연구에 따르면, 충분한 용량과 대규모 사전 학습으로 확장된 일반 Vision Transformer(ViT) 인코더는 전용 모듈 없이도 정확한 이미지 분할을 수행할 수 있습니다. 이러한 관찰에 착안하여, 전용 추적 모듈이 필요 없는 단순한 인코더 전용 비디오 분할 모델인 Video Encoder-only Mask Transformer(VidEoMT)를 제안합니다. 인코더 전용 ViT에서 시간적 모델링을 가능하게 하기 위해, VidEoMT는 이전 프레임의 쿼리를 재사용하여 프레임 간 정보를 전달하는 경량 쿼리 전파 메커니즘을 도입합니다. 새로운 콘텐츠에 대한 적응성과의 균형을 맞추기 위해, 전파된 쿼리와 시간적 무관한 학습된 쿼리 집합을 결합하는 쿼리 융합 전략을 사용합니다. 그 결과, VidEoMT는 추가적인 복잡성 없이 추적기의 이점을 얻어, ViT-L 백본으로 최대 160 FPS까지 동작하며 5배에서 10배 더 빠른 속도로 경쟁력 있는 정확도를 달성합니다.

팁:

VidEoMT는 현재 DINOv2 backbone(레지스터 토큰 포함)만 지원합니다. 사용 가능한 모델 크기는 ViT-S, ViT-B, ViT-L입니다.
모델은 (batch_size, num_frames, 3, height, width) 형태의 5D 텐서로 비디오 입력을 받습니다.
VidEoMT는 세 가지 비디오 분할 작업을 지원합니다: 인스턴스, 시맨틱, 팬옵틱 분할이며, 각 작업은 비디오 프로세서에 전용 후처리 메서드를 제공합니다.

이 모델은 nielsr님이 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

아키텍처 정보

VidEoMT는 EoMT를 기반으로 구축되었습니다. EoMT는 register tokens가 포함된 일반 DINOv2 사전 학습 Vision Transformer를 분할 모델로 재사용합니다. EoMT는 학습된 object queries와 경량 mask prediction head를 ViT 인코더 내부에 직접 도입하여, 작업별 디코더의 필요성을 제거합니다.

VidEoMT는 두 가지 핵심 추가 요소를 통해 이를 비디오로 확장합니다:

쿼리 전파: 이전 프레임의 객체 쿼리는 query_updater의 선형 투영을 통해 다음 프레임으로 전달되어, 전용 트래커 없이도 시간 추론이 가능합니다.
Query fusion: 전파된 query를 시간과 무관하게 학습된 query 집합에 추가하여, 모델이 비디오에 등장하는 새로운 객체에 적응할 수 있도록 합니다.

초기 encoder 레이어는 모든 프레임을 독립적으로(병렬로) 처리하는 반면, 최종 블록은 융합된 쿼리를 사용하여 프레임별로 작동하며, 프레임별 마스크 및 클래스 예측을 생성합니다.

사용 예시

Hugging Face의 VidEoMT 구현을 사용하여 사전 학습된 모델로 추론을 수행합니다. 아래 예제는 샘플 비디오에 대해 비디오 인스턴스, 시맨틱, 팬옵틱 후처리를 시연하기 위해 공개된 tue-mps/videomt-dinov2-small-ytvis2019 체크포인트를 재사용합니다.

Video Instance Segmentation

import matplotlib.pyplot as plt
import numpy as np
import torch

from transformers import AutoModelForUniversalSegmentation, AutoVideoProcessor
from transformers.video_utils import load_video


model_id = "tue-mps/videomt-dinov2-small-ytvis2019"
processor = AutoVideoProcessor.from_pretrained(model_id)
model = AutoModelForUniversalSegmentation.from_pretrained(model_id, device_map="auto")

video_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/videos/pexels-allan-mas-5362370.mp4"
# Sample 8 frames to keep the example lightweight.
video_frames, _ = load_video(video_url, num_frames=8)

inputs = processor(videos=[video_frames], return_tensors="pt").to(model.device)

with torch.inference_mode():
    outputs = model(**inputs)

original_height, original_width = video_frames[0].shape[:2]
target_sizes = [(original_height, original_width)] * len(video_frames)

results = processor.post_process_instance_segmentation(
    outputs,
    target_sizes=target_sizes,
)

fig, axes = plt.subplots(2, 4, figsize=(16, 8))
for idx, (ax, frame, result) in enumerate(zip(axes.flatten(), video_frames, results)):
    ax.imshow(frame)
    seg = result["segmentation"].cpu().numpy()
    masked = np.ma.masked_where(seg == -1, seg)
    ax.imshow(masked, alpha=0.6, cmap="tab20")
    ax.set_title(f"Frame {idx}")
    ax.axis("off")
plt.suptitle("Video Instance Segmentation")
plt.tight_layout()
plt.show()

비디오 시맨틱 세그멘테이션

import matplotlib.pyplot as plt
import torch

from transformers import AutoModelForUniversalSegmentation, AutoVideoProcessor
from transformers.video_utils import load_video


model_id = "tue-mps/videomt-dinov2-small-ytvis2019"
processor = AutoVideoProcessor.from_pretrained(model_id)
model = AutoModelForUniversalSegmentation.from_pretrained(model_id, device_map="auto")

video_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/videos/pexels-allan-mas-5362370.mp4"
# Sample 8 frames to keep the example lightweight.
video_frames, _ = load_video(video_url, num_frames=8)

inputs = processor(videos=[video_frames], return_tensors="pt").to(model.device)

with torch.inference_mode():
    outputs = model(**inputs)

original_height, original_width = video_frames[0].shape[:2]
target_sizes = [(original_height, original_width)] * len(video_frames)

preds = processor.post_process_semantic_segmentation(
    outputs,
    target_sizes=target_sizes,
)

fig, axes = plt.subplots(2, 4, figsize=(16, 8))
for idx, (ax, frame, seg_map) in enumerate(zip(axes.flatten(), video_frames, preds)):
    ax.imshow(frame)
    ax.imshow(seg_map.cpu().numpy(), alpha=0.6, cmap="tab20")
    ax.set_title(f"Frame {idx}")
    ax.axis("off")
plt.suptitle("Video Semantic Segmentation")
plt.tight_layout()
plt.show()

Video Panoptic Segmentation

import matplotlib.pyplot as plt
import numpy as np
import torch

from transformers import AutoModelForUniversalSegmentation, AutoVideoProcessor
from transformers.video_utils import load_video


model_id = "tue-mps/videomt-dinov2-small-ytvis2019"
processor = AutoVideoProcessor.from_pretrained(model_id)
model = AutoModelForUniversalSegmentation.from_pretrained(model_id, device_map="auto")

video_url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/videos/pexels-allan-mas-5362370.mp4"
# Sample 8 frames to keep the example lightweight.
video_frames, _ = load_video(video_url, num_frames=8)

inputs = processor(videos=[video_frames], return_tensors="pt").to(model.device)

with torch.inference_mode():
    outputs = model(**inputs)

original_height, original_width = video_frames[0].shape[:2]
target_sizes = [(original_height, original_width)] * len(video_frames)

results = processor.post_process_panoptic_segmentation(
    outputs,
    target_sizes=target_sizes,
)

fig, axes = plt.subplots(2, 4, figsize=(16, 8))
for idx, (ax, frame, result) in enumerate(zip(axes.flatten(), video_frames, results)):
    ax.imshow(frame)
    seg = result["segmentation"].cpu().numpy()
    masked = np.ma.masked_where(seg == -1, seg)
    ax.imshow(masked, alpha=0.6, cmap="tab20")
    ax.set_title(f"Frame {idx}")
    ax.axis("off")
plt.suptitle("Video Panoptic Segmentation")
plt.tight_layout()
plt.show()

VideomtVideoProcessor

class transformers.VideomtVideoProcessor

< source >

( **kwargs: *<class 'transformers.processing_utils.VideosKwargs'> )

매개변수

do_convert_rgb (bool, kwargs, 선택 사항, 기본값 True) — 이미지를 RGB로 변환할지 여부.
do_resize (bool, kwargs, 선택 사항, 기본값 True) — 이미지를 리사이즈할지 여부.
size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs, 기본값 {'height' -- 640, 'width': 640}): 모델에 입력되는 최대 차원을 설명합니다.
default_to_square (bool, kwargs, 선택 사항, 기본값 True) — size가 int인 경우 리사이즈 시 정사각형 이미지로 기본 설정할지 여부입니다.
resample (Annotated[Union[int, PILImageResampling, NoneType], None], kwargs, 기본값 2) — 이미지 크기를 조정할 때 사용할 리샘플링 필터입니다. PILImageResampling enum 중 하나를 사용할 수 있습니다. do_resize가 True로 설정된 경우에만 효과가 있습니다.
do_rescale (bool, kwargs, 선택, 기본값 True) — 이미지를 다시 스케일링할지 여부.
rescale_factor (float, kwargs, 선택 사항, 기본값 0.00392156862745098) — do_rescale이 True로 설정된 경우 이미지를 재조정(rescale)하는 데 사용할 재조정 계수입니다.
do_normalize (bool, kwargs, 선택, 기본값 True) — 이미지를 정규화할지 여부.
image_mean (Union[float, list[float], tuple[float, ...]], kwargs, 선택, 기본값 [0.485, 0.456, 0.406]) — 정규화에 사용할 이미지 평균입니다. do_normalize가 True로 설정된 경우에만 효과가 있습니다.
image_std (Union[float, list[float], tuple[float, ...]], kwargs, 선택, 기본값 [0.229, 0.224, 0.225]) — 정규화에 사용할 이미지 표준 편차입니다. do_normalize가 True로 설정된 경우에만 효과가 있습니다.
do_center_crop (bool, kwargs, 선택 사항, 기본값 False) — 이미지를 중앙으로 크롭할지 여부.
do_pad (bool, kwargs, optional) — 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나, 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다.
crop_size (Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None], kwargs) — center_crop을 적용한 후 출력 이미지의 크기.
data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 선택 사항) — ChannelDimension.FIRST만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다.
input_data_format (Union[str, ~image_utils.ChannelDimension], kwargs, 선택 사항) — 입력 이미지의 채널 차원 형식입니다. 설정되지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다:
- "channels_first" 또는 ChannelDimension.FIRST: (num_channels, height, width) 형식의 이미지.
- "channels_last" 또는 ChannelDimension.LAST: (height, width, num_channels) 형식의 이미지.
- "none" 또는 ChannelDimension.NONE: (height, width) 형식의 이미지.
device (Annotated[Union[str, torch.device, NoneType], None], kwargs) — 동영상을 처리할 장치입니다. 설정되지 않은 경우, 입력 동영상에서 장치를 추론합니다.
do_sample_frames (bool, kwargs, 선택 사항, 기본값 False) — 처리 전에 비디오에서 프레임을 샘플링할지, 아니면 비디오 전체를 처리할지를 결정합니다.
video_metadata (Annotated[~video_utils.VideoMetadata | dict | list[dict | ~video_utils.VideoMetadata] | list[list[dict | ~video_utils.VideoMetadata]] | None, None], kwargs) — 총 길이, fps, 총 프레임 수에 대한 정보를 포함하는 비디오의 메타데이터입니다. 비디오에서 프레임을 샘플링하거나 타임스탬프를 계산하는 데 사용됩니다. 비디오를 수동으로 디코딩하여 처리하려는 경우를 제외하고는 메타데이터를 전달하지 마세요.
fps (Annotated[int | float | None, None], kwargs) — do_sample_frames=True인 경우 초당 샘플링할 대상 프레임 수.
num_frames (Annotated[int | None, None], kwargs) — do_sample_frames=True일 때 샘플링할 최대 프레임 수.
return_metadata (bool, kwargs, 선택, 기본값 False) — 비디오 메타데이터를 반환할지 여부입니다. 비디오 메타데이터는 비디오 길이, fps, 디코딩 백엔드 등에 대한 정보를 포함하는 객체입니다.
return_tensors (Annotated[str | ~utils.generic.TensorType | None, None], kwargs) — 설정된 경우, 특정 프레임워크의 텐서를 반환합니다. 허용되는 값은 다음과 같습니다:
- 'pt': PyTorch torch.Tensor 객체를 반환합니다.
- 'np': NumPy np.ndarray 객체를 반환합니다.
**kwargs (VideosKwargs, optional) — 각 모달리티(텍스트, 이미지, 비디오, 오디오)에 대한 추가 처리 옵션입니다. 모델별 매개변수는 위에 나열되어 있으며, 지원되는 인자의 전체 목록은 TypedDict 클래스를 참조하세요.

VideomtVideoProcessor 비디오 프로세서를 생성합니다.

post_process_semantic_segmentation

< source >

( outputstarget_sizes: listreturn_segmentation_scores: bool = False ) → list[torch.Tensor] or list[SemanticSegmentationPostProcessorOutput]

매개변수

outputs (VideomtForUniversalSegmentationOutput) — 모델의 원시 출력입니다.
target_sizes (list[tuple[int, int]]) — 각 예측의 요청된 최종 크기에 해당하는 (height, width) 튜플의 목록입니다. 길이는 출력의 프레임 수와 일치해야 합니다.
return_segmentation_scores (bool, 선택 사항, 기본값 False) — 분할 맵과 함께 분할 점수를 반환할지 여부입니다. True인 경우, 반환된 리스트의 각 요소는 SemanticSegmentationPostProcessorOutput이며, segmentation 필드(클래스 ID, shape (height, width))와 segmentation_scores 필드(shape (num_classes, height, width))를 포함합니다.

반환값

list[torch.Tensor] 또는 list[SemanticSegmentationPostProcessorOutput]

return_segmentation_scores=False(기본값)인 경우, 각 항목이 클래스 ID를 가진 (height, width) 형태의 분할 맵인 길이 batch_size의 리스트를 반환합니다. return_segmentation_scores=True인 경우, segmentation(클래스 ID, (height, width) 형태)와 segmentation_scores((num_classes, height, width) 형태) 필드를 가진 SemanticSegmentationPostProcessorOutput의 리스트를 반환합니다. 두 경우 모두 (height, width)는 대상 크기에 해당합니다.

VideomtForUniversalSegmentation의 출력을 의미 분할 예측으로 변환합니다.

post_process_instance_segmentation

< source >

( outputstarget_sizes: listthreshold: float = 0.5 ) → list[dict]

매개변수

outputs (VideomtForUniversalSegmentationOutput) — 모델의 원시 출력입니다.
target_sizes (list[tuple[int, int]]) — 각 예측의 요청된 최종 크기에 해당하는 (height, width) 튜플의 목록입니다. 길이는 출력의 프레임 수와 일치해야 합니다.
threshold (float, 선택 사항, 기본값 0.5) — 인스턴스를 유지하기 위한 최소 합산 점수입니다.

반환값

list[dict]

dict의 목록(프레임당 하나씩)이며, 각 항목에는 다음이 포함됩니다:

"segmentation" — 인스턴스 ID(또는 배경의 경우 -1)를 포함하는 (height, width) 형태의 torch.Tensor.
"segments_info" — 각 인스턴스에 대해 "id", "label_id", "score"를 포함하는 dict 목록.

VideomtForUniversalSegmentation의 출력을 인스턴스 분할 예측으로 변환합니다.

post_process_panoptic_segmentation

< source >

( outputstarget_sizes: listthreshold: float = 0.8mask_threshold: float = 0.5overlap_mask_area_threshold: float = 0.8label_ids_to_fuse: set[int] | None = None ) → list[dict]

매개변수

outputs (VideomtForUniversalSegmentationOutput) — 모델의 원시 출력입니다.
target_sizes (list[tuple[int, int]]) — 각 예측의 요청된 최종 크기에 해당하는 (height, width) 튜플의 목록입니다. 길이는 출력의 프레임 수와 일치해야 합니다.
threshold (float, 선택 사항, 기본값 0.8) — 예측된 세그먼트를 유지하기 위한 최소 점수입니다.
mask_threshold (float, 선택 사항, 기본값 0.5) — 마스크 확률을 이진화할 때 사용하는 임계값.
overlap_mask_area_threshold (float, 선택 사항, 기본값 0.8) — 마스크를 단일 세그먼트로 병합하기 위한 겹침 임계값.
label_ids_to_fuse (set[int], 선택 사항) — 연결되지 않은 영역 간에 병합해야 할 레이블 ID입니다.

반환값

list[dict]

dict의 목록(프레임당 하나씩)이며, 각 항목에는 다음이 포함됩니다:

"segmentation" — (height, width) 모양의 torch.Tensor로, 세그먼트 ID(배경의 경우 -1)를 포함합니다.
"segments_info" — 각 세그먼트에 대해 "id", "label_id", "score"를 포함하는 딕셔너리의 목록.

VideomtForUniversalSegmentation의 출력을 판옵틱 세분화 예측으로 변환합니다.

VideomtConfig

클래스 transformers.VideomtConfig

< source >

( transformers_version: str | None = Nonearchitectures: list[str] | None = Noneoutput_hidden_states: bool | None = Falsereturn_dict: bool | None = Truedtype: str | torch.dtype | None = Nonechunk_size_feed_forward: int = 0is_encoder_decoder: bool = Falseid2label: dict[int, str] | dict[str, str] | None = Nonelabel2id: dict[str, int] | dict[str, str] | None = Noneproblem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = Nonehidden_size: int = 1024num_hidden_layers: int = 24num_attention_heads: int = 16hidden_act: str = 'gelu'hidden_dropout_prob: float | int = 0.0initializer_range: float = 0.02layer_norm_eps: float = 1e-06image_size: int | list[int] | tuple[int, int] = 640patch_size: int | list[int] | tuple[int, int] = 16num_channels: int = 3mlp_ratio: int = 4layerscale_value: float = 1.0drop_path_rate: float | int = 0.0num_upscale_blocks: int = 2attention_dropout: float | int = 0.0use_swiglu_ffn: bool = Falsenum_blocks: int = 4no_object_weight: float = 0.1class_weight: float = 2.0mask_weight: float = 5.0dice_weight: float = 5.0train_num_points: int = 12544oversample_ratio: float = 3.0importance_sample_ratio: float = 0.75num_queries: int = 200num_register_tokens: int = 4 )

매개변수

hidden_size (int, 선택 사항, 기본값 1024) — 숨겨진 표현의 차원입니다.
num_hidden_layers (int, 선택 사항, 기본값 24) — Transformer decoder의 숨겨진 레이어 수.
num_attention_heads (int, 선택 사항, 기본값 16) — Transformer decoder의 각 attention layer에 사용할 attention head의 수입니다.
hidden_act (str, 선택 사항, 기본값 gelu) — 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열)입니다. 예를 들어, "gelu", "relu", "silu" 등이 있습니다.
hidden_dropout_prob (Union[float, int], 선택 사항, 기본값 0.0) — 임베딩, 인코더, 풀러의 모든 완전 연결 계층에 적용되는 드롭아웃 확률입니다.
initializer_range (float, 선택 사항, 기본값 0.02) — 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.
layer_norm_eps (float, 선택 사항, 기본값 1e-06) — 레이어 정규화 레이어에서 사용되는 epsilon 값입니다.
image_size (Union[int, list[int], tuple[int, int]], 선택, 기본값 640) — 각 이미지의 크기(해상도)입니다.
patch_size (Union[int, list[int], tuple[int, int]], 선택 사항, 기본값 16) — 각 패치의 크기(해상도)입니다.
num_channels (int, 선택 사항, 기본값 3) — 입력 채널의 수입니다.
mlp_ratio (int, 선택 사항, 기본값 4) — MLP 은닉 차원과 임베딩 차원의 비율입니다.
layerscale_value (float, 선택 사항, 기본값 1.0) — LayerScale 매개변수의 초기 값입니다.
drop_path_rate (Union[float, int], 선택 사항, 기본값 0.0) — 패치 융합에 사용할 드롭 패스 비율입니다.
num_upscale_blocks (int, 선택 사항, 기본값 2) — 디코더나 분할 헤드에 사용되는 업샘플링 블록의 수입니다.
attention_dropout (Union[float, int], 선택 사항, 기본값 0.0) — Attention 확률에 적용할 dropout 비율입니다.
use_swiglu_ffn (bool, 선택 사항, 기본값 False) — SwiGLU 피드포워드 신경망을 사용할지 여부.
num_blocks (int, 선택 사항, 기본값 4) — 아키텍처의 특징 블록 또는 스테이지 수.
no_object_weight (float, 선택 사항, 기본값 0.1) — panoptic/instance segmentation에서 ‘no object’ 클래스에 대한 loss weight입니다.
class_weight (float, 선택 사항, 기본값 2.0) — 분류 대상에 대한 손실 가중치입니다.
mask_weight (float, 선택 사항, 기본값 5.0) — 마스크 예측에 대한 손실 가중치입니다.
dice_weight (float, 선택 사항, 기본값 5.0) — panoptic segmentation loss에서 dice loss의 상대적 가중치입니다.
train_num_points (int, 선택 사항, 기본값 12544) — 학습 중 mask loss 계산을 위해 샘플링할 점의 수.
oversample_ratio (float, 선택 사항, 기본값 3.0) — 마스크 학습을 위한 포인트 샘플링에 사용되는 오버샘플링 비율입니다.
importance_sample_ratio (float, 선택 사항, 기본값 0.75) — 학습 중 중요도에 따라 샘플링할 포인트의 비율입니다.
num_queries (int, 선택 사항, 기본값 200) — Transformer의 객체 쿼리 개수.
num_register_tokens (int, 선택 사항, 기본값 4) — transformer 입력에 추가되는 학습 가능한 register token의 수입니다.

이것은 VideomtModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Videomt 모델을 인스턴스화하고 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 tue-mps/videomt-dinov2-small-ytvis2019와 유사한 구성이 생성됩니다.

Configuration 객체는 PreTrainedConfig를 상속하며 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 PreTrainedConfig의 문서를 참고하세요.

예:

>>> from transformers import VideomtConfig, VideomtForUniversalSegmentation

>>> # Initialize configuration
>>> config = VideomtConfig()

>>> # Initialize model
>>> model = VideomtForUniversalSegmentation(config)

>>> # Access config
>>> config = model.config

VideomtPreTrainedModel

class transformers.VideomtPreTrainedModel

< source >

( config: PreTrainedConfig*inputs**kwargs )

매개변수

config (PreTrainedConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 연관된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.

이 모델은 PreTrainedModel에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대한 세부 사항은 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch torch.nn.Module의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법 및 동작과 관련된 모든 사항은 PyTorch 문서를 참조하세요.

forward

( *args**kwargs )

점으로 구분된 경로(예: torch.float32)에 대한 mock 값: 속성 접근 체인, 호출은 pass-through 데코레이터처럼 동작하며, repr은 해당 점으로 구분된 경로입니다. 이를 베이스 클래스로 사용하면 plain-type 베이스로 대체됩니다(PEP 560 __mro_entries__). 따라서 실제 서브클래스는 일반적인 메타클래스를 유지하고, inspect.signature는 mock의 __init__가 아닌 실제 __init__를 읽습니다.

VideomtForUniversalSegmentation

class transformers.VideomtForUniversalSegmentation

< source >

( config: VideomtConfig )

매개변수

config (VideomtConfig) — 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 from_pretrained() 메서드를 확인하세요.

Videomt 모델은 인스턴스/시맨틱/팬옵틱 분할을 위해 상단에 헤드가 있는 모델입니다.

forward

< source >

( pixel_values_videos: typing.Optional[torch.Tensor] = Nonemask_labels: list[torch.Tensor] | None = Noneclass_labels: list[torch.Tensor] | None = Nonepatch_offsets: list[torch.Tensor] | None = None**kwargs: *<class 'transformers.utils.generic.TransformersKwargs'> ) → VideomtForUniversalSegmentationOutput or tuple(torch.Tensor)

매개변수

pixel_values_videos (torch.Tensor, 선택 사항) — (batch_size, num_frames, num_channels, height, width) 형식의 비디오 입력입니다.
mask_labels (list[torch.Tensor], 선택 사항) — 5D 비디오 입력은 지원하지 않습니다.
class_labels (list[torch.LongTensor], 선택 사항) — 5D 비디오 입력은 지원하지 않습니다.
patch_offsets (list[torch.Tensor], 선택 사항) — 비디오 입력에는 사용되지 않으며, 모듈러 호환성을 위해만 유지됩니다.

반환값

VideomtForUniversalSegmentationOutput 또는 tuple(torch.Tensor)

VideomtForUniversalSegmentationOutput 또는 torch.Tensor의 튜플(return_dict=False이 전달되거나 config.return_dict=False인 경우)로, 구성(VideomtConfig)과 입력에 따라 다양한 요소를 포함합니다.

VideomtForUniversalSegmentation의 forward 메서드는 __call__ 특수 메서드를 오버라이드합니다.

이 함수 내에서 forward pass의 레시피를 정의해야 하지만, 이후에는 이 함수 대신 Module 인스턴스를 호출해야 합니다. 전자는 전처리 및 후처리 단계를 실행하는 것을 처리하는 반면, 후자는 이를 조용히 무시하기 때문입니다.

loss (torch.Tensor, 선택 사항) — 라벨이 존재할 때 반환되는 계산된 손실.
class_queries_logits (torch.Tensor, 선택 사항) — 각 쿼리에 대해 제안된 클래스를 나타내는 (batch_size, num_queries, num_labels + 1) 형태의 텐서입니다. + 1은 null 클래스를 포함하기 때문에 필요합니다.
masks_queries_logits (torch.Tensor, 선택 사항) — 각 쿼리에 대한 제안된 마스크를 나타내는 (batch_size, num_queries, height, width) 형태의 텐서.
last_hidden_state (torch.Tensor, shape (batch_size, num_channels, height, width)) — 마지막 레이어의 마지막 hidden states(최종 feature map).
hidden_states (tuple(torch.Tensor), 선택 사항, output_hidden_states=True가 전달되거나 config.output_hidden_states=True인 경우 반환됨) — torch.Tensor의 튜플(임베딩 출력 1개 + 각 단계의 출력 1개)로, shape는 (batch_size, sequence_length, hidden_size)입니다. 모델의 모든 레이어의 hidden-states입니다.
attentions (tuple(tuple(torch.Tensor)), 선택 사항, output_attentions=True가 전달되거나 config.output_attentions=True인 경우 반환됨) — 각 레이어마다 하나씩 포함된 tuple(torch.Tensor)의 튜플로, 모양은 (batch_size, num_heads, sequence_length, sequence_length)입니다. Transformer 디코더의 Self Attention 및 Cross Attention 가중치입니다.

Update on GitHub

←UVDoc Vision Transformer (ViT)→