Transformers documentation

Emu3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 27.09.2024 и добавлена в Hugging Face Transformers 10.01.2025.

Emu3

Обзор

Модель Emu3 была предложена в работе Emu3: Next-Token Prediction is All You Need авторами Xinlong Wang, Xiaosong Zhang, Zhengxiong Luo, Quan Sun, Yufeng Cui, Jinsheng Wang, Fan Zhang, Yueze Wang, Zhen Li, Qiying Yu, Yingli Zhao, Yulong Ao, Xuebin Min, Tao Li, Boya Wu, Bo Zhao, Bowen Zhang, Liangdong Wang, Guang Liu, Zheqi He, Xi Yang, Jingjing Liu, Yonghua Lin, Tiejun Huang, Zhongyuan Wang.

Emu3 — это мультимодальная LLM, которая использует векторную квантование для токенизации изображений в дискретные токены. Дискретизированные токены изображений впоследствии объединяются с идентификаторами текстовых токенов для генерации изображений и текста. Модель также способна генерировать изображения, предсказывая идентификаторы токенов изображений.

Аннотация из статьи следующая:

Хотя предсказание следующего токена считается перспективным путём к достижению искусственного общего интеллекта, оно пока не позволяет достигать выдающихся результатов в мультимодальных задачах, которые по-прежнему доминируют диффузионные модели (например, Stable Diffusion) и композиционные подходы (например, CLIP в сочетании с LLM). В данной статье мы представляем Emu3 — новый набор передовых мультимодальных моделей, обученных исключительно методом предсказания следующего токена. Токенизируя изображения, текст и видео в дискретное пространство, мы обучаем единый трансформер с нуля на смеси мультимодальных последовательностей. Emu3 превосходит несколько устоявшихся моделей, специализированных на конкретных задачах, как в задачах генерации, так и восприятия, обгоняя флагманские модели, такие как SDXL и LLaVA-1.6, при этом исключая необходимость в диффузионных или композиционных архитектурах. Emu3 также способен генерировать видео высокой точности, предсказывая следующий токен в видео-последовательности. Мы упрощаем сложные конструкции мультимодальных моделей, сосредоточившись на едином элементе — токенах, что открывает значительный потенциал для масштабирования как на этапе обучения, так и инференса. Наши результаты демонстрируют, что предсказание следующего токена является перспективным путём к построению общего мультимодального интеллекта, выходящего за рамки языка. Мы открыли исходный код ключевых методов и моделей, чтобы поддержать дальнейшие исследования в этом направлении.

Советы:

Мы рекомендуем пользователям устанавливать processor.tokenizer.padding_side = "left" перед генерацией батчами, так как это приводит к более точным результатам.
Обратите внимание, что модель обучена с использованием конкретного формата промптов для чата. Используйте processor.apply_chat_template(my_conversation_dict), чтобы правильно отформатировать ваши промпты.
У Emu3 есть два разных контрольных пункта: для генерации изображений и для генерации текста. Убедитесь, что при загрузке модели вы используете правильный контрольный пункт. Для генерации изображения рекомендуется использовать prefix_constraints, чтобы сэмплируемые токены выбирались только из возможных токенов изображения. Примеры использования приведены ниже.

Реализация Emu3 в Transformers использует специальный токен изображения для указания места, где необходимо объединить эмбеддинги изображения. Этот специальный токен не является новым и использует один из зарезервированных токенов: <|extra_0|>. Для корректной генерации вам нужно добавить <image> в промпт в том месте, где должно быть встроено изображение.

Эта модель была предоставлена RaushanTurganbay. Исходный код можно найти здесь.

Пример использования

Инференс генерации текста

Ниже показано, как загрузить модель и выполнить инференс в половинной точности (torch.bfloat16) для генерации текстового вывода из текстового или текстово-изображения входа:

import requests
from PIL import Image

from transformers import Emu3ForConditionalGeneration, Emu3Processor


processor = Emu3Processor.from_pretrained("BAAI/Emu3-Chat-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Chat-hf", device_map="auto")

# prepare image and text prompt
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
prompt = "What do you see in this image?<image>"

inputs = processor(images=image, text=prompt, return_tensors="pt").to(model.device)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=50)
print(processor.decode(output[0], skip_special_tokens=True))

Вывод при генерации изображений

Emu3 также может генерировать изображения по текстовому вводу. Вот как это сделать:

processor = Emu3Processor.from_pretrained("BAAI/Emu3-Gen-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Gen-hf", device_map="auto", attn_implementation="flash_attention_2")


inputs = processor(
    text=["a portrait of young girl. masterpiece, film grained, best quality.", "a dog running under the rain"],
    padding=True,
    return_tensors="pt",
    return_for_image_generation=True,
)
inputs = inputs.to(device=model.device)

neg_prompt = "lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry."
neg_inputs = processor(text=[neg_prompt] * 2, return_tensors="pt").to(device=model.device)

image_sizes = inputs.pop("image_sizes")
HEIGHT, WIDTH = image_sizes[0]
VISUAL_TOKENS = model.vocabulary_mapping.image_tokens

def prefix_allowed_tokens_fn(batch_id, input_ids):
    height, width = HEIGHT, WIDTH
    visual_tokens = VISUAL_TOKENS
    image_wrapper_token_id = torch.tensor([processor.tokenizer.image_wrapper_token_id], device=model.device)
    eoi_token_id = torch.tensor([processor.tokenizer.eoi_token_id], device=model.device)
    eos_token_id = torch.tensor([processor.tokenizer.eos_token_id], device=model.device)
    pad_token_id = torch.tensor([processor.tokenizer.pad_token_id], device=model.device)
    eof_token_id = torch.tensor([processor.tokenizer.eof_token_id], device=model.device)
    eol_token_id = processor.tokenizer.encode("<|extra_200|>", return_tensors="pt").to(model.device)[0]

    position = torch.nonzero(input_ids == image_wrapper_token_id, as_tuple=True)[0][0]
    offset = input_ids.shape[0] - position
    if offset % (width + 1) == 0:
        return (eol_token_id, )
    elif offset == (width + 1) * height + 1:
        return (eof_token_id, )
    elif offset == (width + 1) * height + 2:
        return (eoi_token_id, )
    elif offset == (width + 1) * height + 3:
        return (eos_token_id, )
    elif offset > (width + 1) * height + 3:
        return (pad_token_id, )
    else:
        return visual_tokens


out = model.generate(
    **inputs,
    max_new_tokens=50_000, # make sure to have enough tokens for one image
    prefix_allowed_tokens_fn=prefix_allowed_tokens_fn,
    return_dict_in_generate=True,
    negative_prompt_ids=neg_inputs.input_ids, # indicate for Classifier-Free Guidance
    negative_prompt_attention_mask=neg_inputs.attention_mask,
)

image = model.decode_image_tokens(out.sequences[:, inputs.input_ids.shape[1]: ], height=HEIGHT, width=WIDTH)
images = processor.postprocess(list(image.float()), return_tensors="PIL.Image.Image").to(model.device) # internally we convert to np but it's not supported in bf16 precision
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Emu3

Обзор

Пример использования

Инференс генерации текста

Вывод при генерации изображений

Emu3Config

класс transformers.Emu3Config

Emu3VQVAEConfig

класс transformers.Emu3VQVAEConfig

Emu3TextConfig

класс transformers.Emu3TextConfig

Emu3Processor

класс transformers.Emu3Processor

__call__

Emu3ImageProcessor

класс transformers.Emu3ImageProcessor

preprocess

Emu3VQVAE

класс transformers.Emu3VQVAE

forward

Emu3TextModel

класс transformers.Emu3TextModel

forward

Emu3Model

класс transformers.Emu3Model

decode_image_tokens

forward

get_image_features

get_image_tokens

get_placeholder_mask

Emu3ForCausalLM

класс transformers.Emu3ForCausalLM

forward

Emu3ForConditionalGeneration

класс transformers.Emu3ForConditionalGeneration

forward

call