Transformers documentation

LLaVA-OneVision

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.2).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model 2024-08-06 tarihinde HF papers'ta yayımlandı ve 2024-09-05 tarihinde Hugging Face Transformers'a katkıda bulunuldu.

LLaVA-OneVision

Genel Bakış

LLaVA-OneVision modeli, Bo Li, Yuanhan Zhang, Dong Guo, Renrui Zhang, Feng Li, Hao Zhang, Kaichen Zhang, Yanwei Li, Ziwei Liu ve Chunyuan Li tarafından LLaVA-OneVision: Easy Visual Task Transfer makalesinde önerilmiştir.

LLaVA-OneVision, bir veya birden fazla görüntü/video koşullu metin üretebilen bir Görüntü-Dil Modelidir. Model, SigLIP görüntü kodlayıcısından ve Qwen2 dil omurgasından oluşur. Görüntüler, yüksek çözünürlüklü görüntüleri daha iyi işlemek ve olabildiğince fazla ayrıntıyı yakalamak için görüntünün 9 yamaya bölündüğü anyres-9 tekniğiyle işlenir. Ancak videolar, daha bellek verimli hesaplama için her kare 196 token'lık toplam bir dizi uzunluğuna indirgenir. LLaVA-OneVision, 0.5B, 7B ve 72B olmak üzere üç boyutta mevcuttur ve benchmark değerlendirmelerinde olağanüstü performans gösterir.

Makalenin özeti aşağıdaki gibidir:

LLaVA-NeXT blog serisindeki veriler, modeller ve görsel temsiller hakkındaki içgörülerimizi bir araya getirerek geliştirdiğimiz açık büyük çok modlu modeller (LMM) ailesi olan LLaVA-OneVision'u sunuyoruz. Deneysel sonuçlarımız, LLaVA-OneVision'ın tek görsel, çoklu görsel ve video senaryoları olmak üzere üç önemli bilgisayarla görme senaryosunda açık LMM'lerin performans sınırlarını aynı anda zorlayabilen ilk tek model olduğunu göstermektedir. Önemli olan, LLaVAOneVision'un tasarımı, farklı modlar/senaryolar arasında güçlü aktarım öğrenmesine olanak tanıyarak yeni ortaya çıkan yetenekler sağlamaktadır. Özellikle, görsellerden videolara görev aktarımı yoluyla güçlü video anlama ve senaryolar arası yetenekler gösterilmektedir.

LLaVA-OneVision architecture. Taken from the original paper.

İpuçları:

Toplu üretim hesaplama yaparken daha doğru sonuçlar elde edilebilmesi için kullanıcılara padding_side="left" kullanmalarını öneririz. Üretimden önce processor.tokenizer.padding_side = "left" çağrısını yaptığınızdan emin olun.

Llava-OneVision, görüntüler için farklı sayıda yama (patch) kullandığından, girdilerin işlenmesi sırasında yapılan dolgudan (padding) ayrı olarak, modelleme kodunun içinde girdileri doldurmak (pad) zorundadır. Model eval() modundaysa varsayılan ayar “left-padding” (sol dolgu), aksi halde “right-padding” (sağ dolgu) şeklindedir.

Chat Şablonlarıyla İstemleri Biçimlendirme

Her checkpoint, altta yatan büyük dil modeli omurgasına bağlı olarak belirli bir istem biçimiyle eğitilir. Doğru biçimlendirmeyi sağlamak için işleyicinin apply_chat_template yöntemini kullanın.

Önemli:

Bir sohbet geçmişi oluşturmanız gerekir — düz bir dize geçirmek işe yaramaz.
Her mesaj, "role" ve "content" anahtarlarına sahip bir sözlük olmalıdır.
"content", "text" ve "image" gibi farklı modaliteler için sözlüklerden oluşan bir liste olmalıdır.

Girdinizi nasıl yapılandıracağınızın bir örneği aşağıda verilmiştir. llava-onevision-qwen2-7b-si-hf modelini ve metin ile görüntüden oluşan bir sohbet geçmişini kullanacağız. Her içerik alanı, aşağıdaki gibi sözlüklerden oluşan bir liste olmalıdır:

from transformers import AutoProcessor


processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-si-hf")

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What’s shown in this image?"},
        ],
    },
    {
        "role": "assistant",
        "content": [{"type": "text", "text": "This image shows a red stop sign."},]
    },
    {

        "role": "user",
        "content": [
            {"type": "text", "text": "Describe the image in more details."},
        ],
    },
]

text_prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)

# Note that the template simply formats your prompt, you still have to tokenize it and obtain pixel values for your images
print(text_prompt)
'<|im_start|>user\n<image>What is shown in this image?<|im_end|>\n<|im_start|>assistant\nPage showing the list of options.<|im_end|>'

🚀 Bonus: transformers>=4.49.0 kullanıyorsanız, apply_chat_template ile vektörleştirilmiş çıktı da alabilirsiniz. Kullanımına dair ayrıntılar için aşağıdaki Kullanım Örnekleri bölümüne bakın.

Bu model RaushanTurganbay tarafından katkıda bulunmuştur. Orijinal kod burada bulunabilir.

Kullanım örneği

Tek görüntü çıkarımı

Modeli yüklemenin ve yarı hassasiyetle (torch.float16) çıkarım yapmanın yolu şudur:

import torch

from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration


processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")
model = LlavaOnevisionForConditionalGeneration.from_pretrained(
    "llava-hf/llava-onevision-qwen2-7b-ov-hf",
    device_map="auto"
)

# prepare image and text prompt, using the appropriate prompt template
url = "https://github.com/haotian-liu/LLaVA/blob/1a91fc274d7c35a9b50b3cb29c4247ae5837ce39/images/llava_v1_5_radar.jpg?raw=true"
conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
]
inputs = processor.apply_chat_template(conversation, add_generation_prompt=True, tokenize=True, return_dict=True, return_tensors="pt").to(model.device)
inputs = inputs.to(model.device, torch.float16)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))
'user\n\nWhat is shown in this image?\nassistant\nThe image shows a radar chart, also known as a spider chart or a star chart, which is used to compare multiple quantitative variables. Each axis represents a different variable, and the chart is filled with'

Çoklu görüntü çıkarımı

LLaVa-OneVision, girdi olarak birden fazla görsel kullanarak çıkarım yapabilir; görseller aynı istemciye (prompt) ait olabilir veya farklı istemcilere ait olabilir (toplu çıkarım). Bunun için “ov” son ekli kontrol noktalarını (checkpoint) kullanmanız gerekir. Çoklu görsel durumları için girdi olarak iç içe görsel listesi kullanmanızı öneririz. Aksi takdirde her görsel yamalanır (patchify edilir) ve çok fazla bellek tüketir. Bunu şu şekilde yapabilirsiniz:

import torch

from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration


# Load the model in half-precision
model = LlavaOnevisionForConditionalGeneration.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")

# Prepare a batch of two prompts, where the first one is a multi-turn conversation and the second is not
conversation_1 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://www.ilankelman.org/stopsigns/australia.jpg"},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
    {
        "role": "assistant",
        "content": [
            {"type": "text", "text": "There is a red stop sign in the image."},
        ],
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "http://images.cocodataset.org/val2017/000000039769.jpg"},
            {"type": "text", "text": "What about this image? How many cats do you see?"},
        ],
    },
]

conversation_2 = [
    {
        "role": "user",
        "content": [
            {"type": "image", "url": "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"},
            {"type": "text", "text": "What is shown in this image?"},
        ],
    },
]

inputs = processor.apply_chat_template(
    [conversation_1, conversation_2],
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    padding=True,
    padding_side="left",
    return_tensors="pt",
).to(model.device, torch.float16)

# Generate
generate_ids = model.generate(**inputs, max_new_tokens=30)
processor.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)
['user\n\nWhat is shown in this image?\nassistant\nThere is a red stop sign in the image.\nuser\n\nWhat about this image? How many cats do you see?\nassistant\ntwo', 'user\n\nWhat is shown in this image?\nassistant\nThe image shows a whimsical scene of a snowman sitting by a campfire. The snowman is anthropomorphized, wearing a hat and']

Video çıkarımı

LLaVa-OneVision, video karelerinin birden fazla görüntü olarak ele alındığı video girdileriyle çıkarım da gerçekleştirebilir. Bunu nasıl yapacağınız aşağıda gösterilmektedir:

from huggingface_hub import hf_hub_download
import torch
from transformers import AutoProcessor, LlavaOnevisionForConditionalGeneration

# Load the model in half-precision
model = LlavaOnevisionForConditionalGeneration.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf", device_map="auto")
processor = AutoProcessor.from_pretrained("llava-hf/llava-onevision-qwen2-7b-ov-hf")

video_path = hf_hub_download(repo_id="raushan-testing-hf/videos-test", filename="sample_demo_1.mp4", repo_type="dataset")
conversation = [
    {

        "role": "user",
        "content": [
            {"type": "video", "path": video_path},
            {"type": "text", "text": "Why is this video funny?"},
            ],
    },
]

inputs = processor.apply_chat_template(
    conversation,
    num_frames=8
    add_generation_prompt=True,
    tokenize=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device, torch.float16)

out = model.generate(**inputs, max_new_tokens=60)
processor.batch_decode(out, skip_special_tokens=True, clean_up_tokenization_spaces=True)
["user\n\nWhy is this video funny?\nassistant\nThe video appears to be humorous because it shows a young child, who is wearing glasses and holding a book, seemingly reading with a serious and focused expression. The child's glasses are a bit oversized for their face, which adds a comical touch, as it's a common trope to see children wearing"]

Model optimizasyonu

bitsandbytes kullanılarak kuantizasyon

Model, 8 veya 4 bit olarak yüklenebilir; bu, orijinal modelin performansını korurken bellek gereksinimlerini büyük ölçüde azaltır. Öncelikle pip install bitsandbytes komutuyla bitsandbytes kütüphanesinin yüklendiğinden ve kütüphanenin desteklediği bir GPU/ivmeciye erişiminiz olduğundan emin olun.

bitsandbytes, CUDA dışında birden çok arka ucu destekleyecek şekilde yeniden yapılandırılmaktadır. Şu anda ROCm (AMD GPU) ve Intel CPU uygulamaları olgunlaşmış durumdadır; Intel XPU üzerinde çalışmalar devam etmekte olup Apple Silicon desteğinin Q4/Q1 döneminde sunulması beklenmektedir. Kurulum talimatları ve en güncel arka uç güncellemeleri için bu bağlantıya gidin.

Tam sürüm öncesinde hataları tespit etmemize yardımcı olmak için geri bildirimlerinizi önemsiyoruz! Daha fazla ayrıntı ve geri bildirim bağlantıları için bu belgelere göz atın.

Yukarıdaki kod parçasını şununla değiştirin:

from transformers import BitsAndBytesConfig, LlavaOnevisionForConditionalGeneration


# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4",
    bnb_4bit_compute_dtype=torch.float16,
)

model = LlavaOnevisionForConditionalGeneration.from_pretrained(model_id, quantization_config=quantization_config, device_map="auto")

Üretim hızını daha da artırmak için Flash-Attention 2 kullanın

Öncelikle flash-attn paketinin yüklü olduğundan emin olun. Bu paketin kurulumuyla ilgili Flash Attention'ın orijinal deposuna başvurun. Yukarıdaki kod parçasını aşağıdakiyle değiştirin:

from transformers import LlavaOnevisionForConditionalGeneration


model = LlavaOnevisionForConditionalGeneration.from_pretrained(
    model_id,
    use_flash_attention_2=True
).to(0, device_map="auto")

Transformers

LLaVA-OneVision

Genel Bakış

Chat Şablonlarıyla İstemleri Biçimlendirme

Kullanım örneği

Tek görüntü çıkarımı

Çoklu görüntü çıkarımı

Video çıkarımı

Model optimizasyonu

bitsandbytes kullanılarak kuantizasyon

Üretim hızını daha da artırmak için Flash-Attention 2 kullanın

LlavaOnevisionConfig

sınıf transformers.LlavaOnevisionConfig

LlavaOnevisionProcessor

sınıf transformers.LlavaOnevisionProcessor

__call__

LlavaOnevisionImageProcessor

sınıf transformers.LlavaOnevisionImageProcessor

ön işleme

LlavaOnevisionImageProcessorPil

sınıf transformers.LlavaOnevisionImageProcessorPil

ön işleme

LlavaOnevisionVideoProcessor

sınıf transformers.LlavaOnevisionVideoProcessor

LlavaOnevisionModel

sınıf transformers.LlavaOnevisionModel

forward

get_image_features

get_placeholder_mask

get_video_features

pack_image_features

LlavaOnevisionForConditionalGeneration

sınıf transformers.LlavaOnevisionForConditionalGeneration

forward

get_image_features

get_video_features

call