Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Bu model, 2024-03-20 tarihinde Hugging Face Transformers'a katkıda bulunulmuştur.

LLaVA-NeXT

LLaVA‑NeXT, Llava'in üzerine, görsel detayları daha iyi kavramak için giriş görüntü çözünürlüğünü 4 kat daha fazla piksel artırarak ve 3 en-boy oranını (672x672, 336x1344, 1344x336'ye kadar) destekleyerek geliştirir. Ayrıca, OCR ve genel mantık çıkarımını iyileştirmek amacıyla daha fazla senaryo ve uygulamayı kapsayan, geliştirilmiş bir görsel talimat ayarlama veri setinde eğitilmiştir.

Tüm orijinal LLaVA‑NeXT checkpoint'lerini LLaVA-NeXT koleksiyonunda bulabilirsiniz.

Bu model nielsr tarafından katkıda bulunmuştur.

Farklı çok modlu görevlere Llava-NeXT uygulamanın daha fazla örneği için sağ kenar çubuğundaki LLaVA‑NeXT modellerine tıklayın.

Aşağıdaki örnek, Pipeline veya AutoModel sınıfı kullanılarak bir görüntüye dayalı metin üretmenin nasıl yapılacağını göstermektedir.

Pipeline

AutoModel

Quantization, ağırlıkları daha düşük bir hassasiyetle temsil ederek büyük modellerin bellek yükünü azaltır. Daha fazla kullanılabilir quantization backend'i için Quantization genel bakışına başvurun.

Aşağıdaki örnek, ağırlıkları yalnızca int4 olarak nicelleştirmek için bitsandbytes kullanır.

import requests
import torch
from PIL import Image

from transformers import AutoModelForImageTextToText, AutoProcessor, BitsAndBytesConfig


quant_config = BitsAndBytesConfig(
    load_in_4bit=True,
    bnb_4bit_quant_type="nf4"
)

processor = AutoProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = AutoModelForImageTextToText.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf", quantization_config=quant_config, device_map="auto")

url = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
image = Image.open(requests.get(url, stream=True).raw)

conversation = [
    {
        "role": "user",
        "content": [
            {"type": "image"},
            {"type": "text", "text": "What does this chart show?"},
        ],
    },
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor(image, prompt, return_tensors="pt").to(model.device)

with torch.inference_mode():
    output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Notlar

Farklı checkpoint'ler (Mistral, Vicuna vb.), altta yatan LLM'e bağlı olarak belirli bir prompt formatı gerektirir. Doğru biçimlendirmeyi sağlamak için her zaman apply_chat_template() kullanın. Daha fazla ayrıntı için Templates kılavuzuna başvurun.
Daha doğru sonuçlar için toplu üretim sırasında padding_side="left" ayarlayın.

processor.tokenizer.padding_side = "left"

LLaVA-NeXT, görüntüler için farklı sayıda yama kullanır ve işleme sırasında dolgu yapılmadığı durumlarda girdileri modelleme kodunun içinde doldurur. Model eval() modundaysa varsayılan ayar soldan dolgu, aksi halde sağdan dolgudur.
v4.46 sonrası LLaVA modelleri, processor.patch_size = {{patch_size}}, processor.num_additional_image_tokens = {{num_additional_image_tokens}} ve processor.vision_feature_select_strategy = {{vision_feature_select_strategy}} eklenmesi konusunda uyarılar üretir. Model checkpoint'ine sahipseniz bu öznitelikleri işlemciye (processor) eklemeniz, sahip değilseniz bir PR açmanız şiddetle önerilir.

Bu öznitelikleri eklemek, LLaVA'nın her görsel için gereken görsel token sayısını tahmin etmeye çalışması ve metni aynı sayıda <image> token yer tutucusuyla genişletmesi anlamına gelir. Genellikle her görsel için ~500 token bulunur, bu nedenle embedding'lerin birleştirilmesi sırasında bir hata oluşmaması için metnin kırpılmadığından emin olun. Öznitelikler model.config.vision_config.patch_size veya model.config.vision_feature_select_strategy içinde bulunabilir.

Görüntü omurgası bir CLS token'ı ekliyorsa num_additional_image_tokens değeri 1 olmalı, ek bir şey eklenmiyorsa 0 olmalıdır.
Aşağıdaki örnek, birden fazla giriş görseliyle çıkarımı (inference) göstermektedir.

import requests
from PIL import Image

from transformers import LlavaNextForConditionalGeneration, LlavaNextProcessor


processor = LlavaNextProcessor.from_pretrained("llava-hf/llava-v1.6-mistral-7b-hf")
model = LlavaNextForConditionalGeneration.from_pretrained(
    "llava-hf/llava-v1.6-mistral-7b-hf", device_map="auto"
)

# Load multiple images
url1 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_ocr.png"
url2 = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/transformers/model_doc/llava_next_comparison.png"

image1 = Image.open(requests.get(url1, stream=True).raw)
image2 = Image.open(requests.get(url2, stream=True).raw)

conversation = [
    {"role": "user", "content": [{"type": "image"}, {"type": "image"}, {"type": "text", "text": "Compare these two images and describe the differences."}]}
]
prompt = processor.apply_chat_template(conversation, add_generation_prompt=True)
inputs = processor([image1, image2], prompt, return_tensors="pt").to(model.device)

output = model.generate(**inputs, max_new_tokens=100)
print(processor.decode(output[0], skip_special_tokens=True))

Transformers

LLaVA-NeXT

Notlar

LlavaNextConfig

sınıf transformers.LlavaNextConfig

LlavaNextImageProcessor

sınıf transformers.LlavaNextImageProcessor

ön işleme

LlavaNextImageProcessorPil

sınıf transformers.LlavaNextImageProcessorPil

ön işleme

LlavaNextProcessor

sınıf transformers.LlavaNextProcessor

__call__

LlavaNextModel

sınıf transformers.LlavaNextModel

forward

get_image_features

get_placeholder_mask

pack_image_features

LlavaNextForConditionalGeneration

sınıf transformers.LlavaNextForConditionalGeneration

forward

get_image_features

call