Transformers documentation

Emu3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2024-09-27 dan disumbangkan ke Hugging Face Transformers pada 2025-01-10.

Emu3

Ikhtisar

Model Emu3 diusulkan dalam Emu3: Next-Token Prediction is All You Need oleh Xinlong Wang, Xiaosong Zhang, Zhengxiong Luo, Quan Sun, Yufeng Cui, Jinsheng Wang, Fan Zhang, Yueze Wang, Zhen Li, Qiying Yu, Yingli Zhao, Yulong Ao, Xuebin Min, Tao Li, Boya Wu, Bo Zhao, Bowen Zhang, Liangdong Wang, Guang Liu, Zheqi He, Xi Yang, Jingjing Liu, Yonghua Lin, Tiejun Huang, Zhongyuan Wang.

Emu3 adalah LLM multimodal yang menggunakan kuantisasi vektor untuk mentokenisasi gambar menjadi token diskrit. Token gambar yang didiskritisasi kemudian digabungkan dengan id token teks untuk generasi gambar dan teks. Model ini juga dapat menghasilkan gambar dengan memprediksi id token gambar.

Abstrak dari makalah tersebut adalah sebagai berikut:

Walaupun prediksi token berikutnya dianggap sebagai jalur yang menjanjikan menuju kecerdasan buatan umum, pendekatan ini masih kesulitan untuk unggul dalam tugas multimodal, yang masih didominasi oleh model difusi (misalnya, Stable Diffusion) dan pendekatan komposisional (misalnya, CLIP yang dikombinasikan dengan LLM). Dalam makalah ini, kami memperkenalkan Emu3, sebuah suite model multimodal state-of-the-art baru yang dilatih sepenuhnya dengan prediksi token berikutnya. Dengan mentokenisasi gambar, teks, dan video ke dalam ruang diskrit, kami melatih satu transformer dari awal pada campuran sekuens multimodal. Emu3 melampaui beberapa model khusus tugas yang sudah mapan dalam tugas generasi dan persepsi, mengungguli model unggulan seperti SDXL dan LLaVA-1.6, sekaligus menghilangkan kebutuhan akan arsitektur difusi atau komposisional. Emu3 juga mampu menghasilkan video berkeandalan tinggi dengan memprediksi token berikutnya dalam sekuens video. Kami menyederhanakan desain model multimodal yang kompleks dengan berfokus pada satu hal: token, yang membuka potensi besar untuk penskalaan baik selama pelatihan maupun inferensi. Hasil kami menunjukkan bahwa prediksi token berikutnya adalah jalur yang menjanjikan untuk membangun kecerdasan multimodal umum melampaui bahasa. Kami membuka sumber untuk teknik dan model kunci guna mendukung penelitian lebih lanjut dalam arah ini.

Tips:

Kami menyarankan pengguna untuk mengatur processor.tokenizer.padding_side = "left" sebelum generasi batched karena hal ini menghasilkan akurasi yang lebih baik.
Perhatikan bahwa model telah dilatih dengan format prompt tertentu untuk percakapan. Gunakan processor.apply_chat_template(my_conversation_dict) untuk memformat prompt Anda dengan benar.
Emu3 memiliki dua checkpoint berbeda untuk generasi gambar dan generasi teks, pastikan untuk menggunakan checkpoint yang benar saat memuat model. Untuk menghasilkan gambar, disarankan untuk menggunakan prefix_constraints sehingga token yang dihasilkan hanya diambil dari token gambar yang mungkin. Lihat di bawah ini untuk contoh penggunaan.

Implementasi Emu3 di Transformers menggunakan token gambar khusus untuk menunjukkan di mana embedding gambar harus digabungkan. Token gambar khusus ini bukan hal baru dan menggunakan salah satu token yang dicadangkan: <|extra_0|>. Anda harus menambahkan <image> ke prompt Anda di tempat di mana gambar harus di-embed untuk menghasilkan generasi yang benar.

Model ini disumbangkan oleh RaushanTurganbay. Kode aslinya dapat ditemukan di sini.

Contoh penggunaan

Inferensi generasi teks

Berikut cara memuat model dan melakukan inferensi dalam presisi setengah (torch.bfloat16) untuk menghasilkan output teks dari input teks atau teks dan gambar:

import requests
from PIL import Image

from transformers import Emu3ForConditionalGeneration, Emu3Processor


processor = Emu3Processor.from_pretrained("BAAI/Emu3-Chat-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Chat-hf", device_map="auto")

# prepare image and text prompt
url = 'http://images.cocodataset.org/val2017/000000039769.jpg'
image = Image.open(requests.get(url, stream=True).raw)
prompt = "What do you see in this image?<image>"

inputs = processor(images=image, text=prompt, return_tensors="pt").to(model.device)

# autoregressively complete prompt
output = model.generate(**inputs, max_new_tokens=50)
print(processor.decode(output[0], skip_special_tokens=True))

Inferensi generasi gambar

Emu3 juga dapat menghasilkan gambar dari input teks. Berikut cara melakukannya:

processor = Emu3Processor.from_pretrained("BAAI/Emu3-Gen-hf")
model = Emu3ForConditionalGeneration.from_pretrained("BAAI/Emu3-Gen-hf", device_map="auto", attn_implementation="flash_attention_2")


inputs = processor(
    text=["a portrait of young girl. masterpiece, film grained, best quality.", "a dog running under the rain"],
    padding=True,
    return_tensors="pt",
    return_for_image_generation=True,
)
inputs = inputs.to(device=model.device)

neg_prompt = "lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, username, blurry."
neg_inputs = processor(text=[neg_prompt] * 2, return_tensors="pt").to(device=model.device)

image_sizes = inputs.pop("image_sizes")
HEIGHT, WIDTH = image_sizes[0]
VISUAL_TOKENS = model.vocabulary_mapping.image_tokens

def prefix_allowed_tokens_fn(batch_id, input_ids):
    height, width = HEIGHT, WIDTH
    visual_tokens = VISUAL_TOKENS
    image_wrapper_token_id = torch.tensor([processor.tokenizer.image_wrapper_token_id], device=model.device)
    eoi_token_id = torch.tensor([processor.tokenizer.eoi_token_id], device=model.device)
    eos_token_id = torch.tensor([processor.tokenizer.eos_token_id], device=model.device)
    pad_token_id = torch.tensor([processor.tokenizer.pad_token_id], device=model.device)
    eof_token_id = torch.tensor([processor.tokenizer.eof_token_id], device=model.device)
    eol_token_id = processor.tokenizer.encode("<|extra_200|>", return_tensors="pt").to(model.device)[0]

    position = torch.nonzero(input_ids == image_wrapper_token_id, as_tuple=True)[0][0]
    offset = input_ids.shape[0] - position
    if offset % (width + 1) == 0:
        return (eol_token_id, )
    elif offset == (width + 1) * height + 1:
        return (eof_token_id, )
    elif offset == (width + 1) * height + 2:
        return (eoi_token_id, )
    elif offset == (width + 1) * height + 3:
        return (eos_token_id, )
    elif offset > (width + 1) * height + 3:
        return (pad_token_id, )
    else:
        return visual_tokens


out = model.generate(
    **inputs,
    max_new_tokens=50_000, # make sure to have enough tokens for one image
    prefix_allowed_tokens_fn=prefix_allowed_tokens_fn,
    return_dict_in_generate=True,
    negative_prompt_ids=neg_inputs.input_ids, # indicate for Classifier-Free Guidance
    negative_prompt_attention_mask=neg_inputs.attention_mask,
)

image = model.decode_image_tokens(out.sequences[:, inputs.input_ids.shape[1]: ], height=HEIGHT, width=WIDTH)
images = processor.postprocess(list(image.float()), return_tensors="PIL.Image.Image").to(model.device) # internally we convert to np but it's not supported in bf16 precision
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Emu3

Ikhtisar

Contoh penggunaan

Inferensi generasi teks

Inferensi generasi gambar

Emu3Config

kelas transformers.Emu3Config

Emu3VQVAEConfig

kelas transformers.Emu3VQVAEConfig

Emu3TextConfig

kelas transformers.Emu3TextConfig

Emu3Processor

kelas transformers.Emu3Processor

__call__

Emu3ImageProcessor

kelas transformers.Emu3ImageProcessor

praproses

Emu3VQVAE

kelas transformers.Emu3VQVAE

forward

Emu3TextModel

kelas transformers.Emu3TextModel

forward

Emu3Model

kelas transformers.Emu3Model

decode_image_tokens

forward

get_image_features

get_image_tokens

get_placeholder_mask

Emu3ForCausalLM

kelas transformers.Emu3ForCausalLM

forward

Emu3ForConditionalGeneration

kelas transformers.Emu3ForConditionalGeneration

forward

call