Transformers documentation

Idefics2

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Este modelo foi publicado no HF papers em 2024-05-03 e contribuído para o Hugging Face Transformers em 2024-04-15.

Idefics2

Visão geral

O modelo Idefics2 foi proposto em What matters when building vision-language models? por Léo Tronchon, Hugo Laurencon e Victor Sanh. O post de blog correspondente pode ser encontrado aqui.

Idefics2 é um modelo multimodal aberto que aceita sequências arbitrárias de entradas de imagem e texto e produz saídas em texto. O modelo pode responder perguntas sobre imagens, descrever conteúdo visual, criar histórias baseadas em múltiplas imagens ou simplesmente se comportar como um modelo de linguagem puro, sem entradas visuais. Ele melhora o IDEFICS-1, especialmente em compreensão de documentos, OCR e raciocínio visual. O Idefics2 é leve (8 bilhões de parâmetros) e trata as imagens em sua proporção e resolução nativas, o que permite variar a eficiência da inferência.

O resumo do artigo é o seguinte:

O crescente interesse em modelos de visão-linguagem (VLMs) foi impulsionado por avanços em grandes modelos de linguagem e transformadores de visão. Apesar da abundância de literatura sobre o tema, observamos que decisões críticas sobre o design de VLMs frequentemente não são justificadas. Argumentamos que essas decisões sem respaldo impedem o progresso na área, dificultando a identificação de quais escolhas melhoram o desempenho do modelo. Para abordar essa questão, conduzimos extensos experimentos envolvendo modelos pré-treinados, escolha de arquitetura, dados e métodos de treinamento. Nossa consolidação dos resultados inclui o desenvolvimento do Idefics2, um VLM fundamental eficiente com 8 bilhões de parâmetros. O Idefics2 atinge desempenho de estado da arte em sua categoria de tamanho em diversos benchmarks multimodais e frequentemente se equipara a modelos quatro vezes maiores. Liberamos o modelo (base, instruído e chat) juntamente com os conjuntos de dados criados para seu treinamento.

Idefics2 architecture. Taken from the original paper.

Este modelo foi contribuído por amyeroberts. O código original pode ser encontrado aqui.

Dicas de uso

Cada amostra pode conter múltiplas imagens, e o número de imagens pode variar entre as amostras. O processador irá preencher os dados de entrada até o número máximo de imagens em um lote para a entrada no modelo.
O processador possui a opção do_image_splitting. Se True, cada imagem de entrada será dividida em 4 subimagens e concatenada com a original para formar 5 imagens. Isso é útil para aumentar o desempenho do modelo. Certifique-se de que processor.image_processor.do_image_splitting esteja definido como False se o modelo não foi treinado com essa opção.
O text passado ao processador deve ter os tokens <image> nos locais em que as imagens devem ser inseridas. E <end_of_utterance> no final de cada utterance, se o texto for uma mensagem de chat.
O processador possui seu próprio método apply_chat_template para converter mensagens de chat em texto, que pode então ser passado como text ao processador.

Exemplo de como usar o processador em mensagens de chat:

import requests
from PIL import Image

from transformers import Idefics2ForConditionalGeneration, Idefics2Processor


url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"

image_1 = Image.open(requests.get(url_1, stream=True).raw)
image_2 = Image.open(requests.get(url_2, stream=True).raw)
images = [image_1, image_2]

messages = [{
    "role": "user",
    "content": [
        {"type": "text", "text": "What’s the difference between these two images?"},
        {"type": "image"},
        {"type": "image"},
    ],
}]

processor = Idefics2Processor.from_pretrained("HuggingFaceM4/idefics2-8b")
model = Idefics2ForConditionalGeneration.from_pretrained("HuggingFaceM4/idefics2-8b", device_map="auto")

# at inference time, one needs to pass `add_generation_prompt=True` in order to make sure the model completes the prompt
text = processor.apply_chat_template(messages, add_generation_prompt=True)
print(text)
# 'User: What’s the difference between these two images?<image><image><end_of_utterance>\nAssistant:'

inputs = processor(images=images, text=text, return_tensors="pt").to(model.device)

generated_text = model.generate(**inputs, max_new_tokens=500)
generated_text = processor.batch_decode(generated_text, skip_special_tokens=True)[0]
print("Generated text:", generated_text)

Durante o treinamento, é importante determinar quais tokens o modelo não deve aprender. No caso do Idefics2, isso geralmente se resume aos tokens de imagem e de preenchimento. Isso significa que é possível criar os rótulos da seguinte forma:

import requests
from PIL import Image

from transformers import Idefics2ForConditionalGeneration, Idefics2Processor


url_1 = "http://images.cocodataset.org/val2017/000000039769.jpg"
url_2 = "http://images.cocodataset.org/val2017/000000219578.jpg"

image_1 = Image.open(requests.get(url_1, stream=True).raw)
image_2 = Image.open(requests.get(url_2, stream=True).raw)
images = [image_1, image_2]

messages = [{
    "role": "user",
    "content": [
        {"type": "text", "text": "What’s the difference between these two images?"},
        {"type": "image"},
        {"type": "image"},
    ],
},
{
    "role": "assistant",
    "content": [
        {"type": "text", "text": "The difference is that one image is about dogs and the other one about cats."},
    ],
}]


processor = Idefics2Processor.from_pretrained("HuggingFaceM4/idefics2-8b")
model = Idefics2ForConditionalGeneration.from_pretrained("HuggingFaceM4/idefics2-8b", device_map="auto")

text = processor.apply_chat_template(messages, add_generation_prompt=False)
inputs = processor(images=images, text=text, return_tensors="pt").to(model.device)

labels = inputs.input_ids.clone()
labels[labels == processor.tokenizer.pad_token_id] = -100
labels[labels == model.config.image_token_id] = -100

inputs["labels"] = labels

outputs = model(**inputs)
loss = outputs.loss
loss.backward()

Observe que, ao treinar o Idefics2 em conversas de múltiplas rodadas entre um usuário e um assistente, normalmente também se define todos os tokens correspondentes às mensagens do usuário como -100.

Otimizações de modelo: Flash Attention

Os trechos de código acima demonstram a inferência sem nenhum truque de otimização. No entanto, é possível acelerar drasticamente o modelo aproveitando o Flash Attention, que é uma implementação mais rápida do mecanismo de atenção usado dentro do modelo.

Primeiro, certifique-se de instalar a versão mais recente do Flash Attention 2 para incluir o recurso de atenção com janela deslizante.

pip install -U flash-attn --no-build-isolation

Certifique-se também de que você possui um hardware compatível com Flash-Attention 2. Leia mais sobre isso na documentação oficial do repositório flash attention. Certifique-se também de carregar seu modelo em meia precisão (por exemplo, torch.float16)

Para carregar e executar um modelo usando Flash Attention-2, basta alterar o trecho de código acima da seguinte forma:

model = Idefics2ForConditionalGeneration.from_pretrained(
    "HuggingFaceM4/idefics2-8b",
+    dtype=torch.float16,
+    attn_implementation="flash_attention_2",
    device_map="auto",
)

Reduzindo o Idefics2 usando quantização

Como o modelo Idefics2 possui 8 bilhões de parâmetros, isso exigiria cerca de 16GB de RAM de GPU em meia precisão (float16), já que cada parâmetro é armazenado em 2 bytes. No entanto, é possível reduzir o tamanho do modelo usando quantização. Se o modelo for quantizado para 4 bits (ou meio byte por parâmetro), isso requer apenas cerca de 3,5GB de RAM.

Quantizar um modelo é tão simples quanto passar um quantization_config para o modelo. É possível alterar o trecho de código acima com as modificações abaixo. Vamos aproveitar a quantização BitsAndyBytes (mas consulte esta página para outros métodos de quantização):

+ from transformers import BitsAndBytesConfig

+ quantization_config = BitsAndBytesConfig(
+    load_in_4bit=True,
+    bnb_4bit_quant_type="nf4",
+    bnb_4bit_use_double_quant=True,
+    bnb_4bit_compute_dtype=torch.float16
+ )
model = Idefics2ForConditionalGeneration.from_pretrained(
    "HuggingFaceM4/idefics2-8b",
+    dtype=torch.float16,
+    quantization_config=quantization_config,
    device_map="auto",
)

Recursos

Uma lista de recursos oficiais do Hugging Face e da comunidade (indicados por 🌎) para ajudar você a começar com o Idefics2. Se você tiver interesse em enviar um recurso para ser incluído aqui, sinta-se à vontade para abrir um Pull Request e faremos a revisão! O recurso deve, idealmente, demonstrar algo novo, em vez de duplicar um recurso existente.

Um notebook sobre como fazer o ajuste fino do Idefics2 em um conjunto de dados personalizado usando o Trainer pode ser encontrado aqui. Ele suporta tanto o ajuste fino completo quanto o LoRa (quantizado).
Um script sobre como fazer o ajuste fino do Idefics2 usando a biblioteca TRL pode ser encontrado aqui.
O notebook de demonstração sobre o ajuste fino do Idefics2 para casos de uso de extração de JSON pode ser encontrado aqui. 🌎

Transformers

Idefics2

Visão geral

Dicas de uso

Otimizações de modelo: Flash Attention

Reduzindo o Idefics2 usando quantização

Recursos

Idefics2Config

classe transformers.Idefics2Config

Idefics2VisionConfig

classe transformers.Idefics2VisionConfig

Idefics2PerceiverConfig

classe transformers.Idefics2PerceiverConfig

Idefics2Model

classe transformers.Idefics2Model

forward

get_image_features

Idefics2ForConditionalGeneration

classe transformers.Idefics2ForConditionalGeneration

forward

get_image_features

Idefics2ImageProcessor

classe transformers.Idefics2ImageProcessor

pré-processamento

Idefics2ImageProcessorPil

classe transformers.Idefics2ImageProcessorPil

pré-processamento

Idefics2Processor

classe transformers.Idefics2Processor

__call__

call