Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Эта модель была опубликована в HF papers 30.11.2021 и добавлена в Hugging Face Transformers 12.08.2022.

Donut

Donut (Document Understanding Transformer) — это модель визуального понимания документов, не требующая движка оптического распознавания символов (OCR). В отличие от традиционных подходов, которые сначала извлекают текст с помощью OCR, а затем обрабатывают его, Donut использует сквозную архитектуру на основе Transformer для прямого анализа изображений документов. Это устраняет неэффективность, связанную с OCR, что делает модель более точной и адаптивной к различным языкам и форматам.

Donut использует визуальный энкодер (Swin) и текстовый декодер (BART). Swin преобразует изображения документов в эмбеддинги, а BART обрабатывает их в осмысленные последовательности текста.

Все исходные контрольные точки Donut можно найти в организации Naver Clova Information Extraction.

Щёлкните по моделям Donut в боковой панели справа, чтобы увидеть больше примеров применения Donut к различным языковым и визуальным задачам.

Приведённые ниже примеры демонстрируют, как выполнять задачи понимания документов с помощью Donut, используя Pipeline и AutoModel.

Пайплайн

AutoModel

Квантование снижает нагрузку на память при работе с большими моделями, представляя веса в пониженной точности. Подробнее о доступных бэкендах квантования см. в обзоре Квантование.

Приведённый ниже пример использует torchao для квантования только весов до int4.

# pip install datasets torchao
from datasets import load_dataset

from transformers import AutoModelForImageTextToText, AutoProcessor, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
processor = AutoProcessor.from_pretrained("naver-clova-ix/donut-base-finetuned-docvqa")
model = AutoModelForImageTextToText.from_pretrained("naver-clova-ix/donut-base-finetuned-docvqa", quantization_config=quantization_config, device_map="auto")

dataset = load_dataset("hf-internal-testing/example-documents", split="test")
image = dataset[0]["image"]
question = "What time is the coffee break?"
task_prompt = f"<s_docvqa><s_question>{question}</s_question><s_answer>"
inputs = processor(image, task_prompt, return_tensors="pt").to(model.device)

outputs = model.generate(
    input_ids=inputs.input_ids,
    pixel_values=inputs.pixel_values,
    max_length=512
)
answer = processor.decode(outputs[0], skip_special_tokens=True)
print(answer)

Примечания

Используйте Donut для классификации изображений документов, как показано ниже.

import re
from transformers import DonutProcessor, VisionEncoderDecoderModel
    from datasets import load_dataset
import torch

processor = DonutProcessor.from_pretrained("naver-clova-ix/donut-base-finetuned-rvlcdip")
model = VisionEncoderDecoderModel.from_pretrained("naver-clova-ix/donut-base-finetuned-rvlcdip", device_map="auto")

model.to(model.device)  # doctest: +IGNORE_RESULT

# load document image
dataset = load_dataset("hf-internal-testing/example-documents", split="test")
image = dataset[1]["image"]

# prepare decoder inputs
task_prompt = "<s_rvlcdip>"
decoder_input_ids = processor.tokenizer(task_prompt, add_special_tokens=False, return_tensors="pt").to(model.device).input_ids

pixel_values = processor(image, return_tensors="pt").to(model.device).pixel_values

outputs = model.generate(
    pixel_values.to(model.device),
    decoder_input_ids=decoder_input_ids.to(model.device),
    max_length=model.decoder.config.max_position_embeddings,
    pad_token_id=processor.tokenizer.pad_token_id,
    eos_token_id=processor.tokenizer.eos_token_id,
    use_cache=True,
    bad_words_ids=[[processor.tokenizer.unk_token_id]],
    return_dict_in_generate=True,
)

sequence = processor.batch_decode(outputs.sequences)[0]
sequence = sequence.replace(processor.tokenizer.eos_token, "").replace(processor.tokenizer.pad_token, "")
sequence = re.sub(r"<.*?>", "", sequence, count=1).strip()  # remove first task start token
print(processor.token2json(sequence))
{'class': 'advertisement'}

Используйте Donut для разбора документов, как показано ниже.

import re
    from datasets import load_dataset
from transformers import DonutProcessor, VisionEncoderDecoderModel
import torch

processor = DonutProcessor.from_pretrained("naver-clova-ix/donut-base-finetuned-cord-v2")
model = VisionEncoderDecoderModel.from_pretrained("naver-clova-ix/donut-base-finetuned-cord-v2", device_map="auto")

model.to(model.device)  # doctest: +IGNORE_RESULT

# load document image
dataset = load_dataset("hf-internal-testing/example-documents", split="test")
image = dataset[2]["image"]

# prepare decoder inputs
task_prompt = "<s_cord-v2>"
decoder_input_ids = processor.tokenizer(task_prompt, add_special_tokens=False, return_tensors="pt").to(model.device).input_ids

pixel_values = processor(image, return_tensors="pt").to(model.device).pixel_values

outputs = model.generate(
    pixel_values.to(model.device),
    decoder_input_ids=decoder_input_ids.to(model.device),
    max_length=model.decoder.config.max_position_embeddings,
    pad_token_id=processor.tokenizer.pad_token_id,
    eos_token_id=processor.tokenizer.eos_token_id,
    use_cache=True,
    bad_words_ids=[[processor.tokenizer.unk_token_id]],
    return_dict_in_generate=True,
)

sequence = processor.batch_decode(outputs.sequences)[0]
sequence = sequence.replace(processor.tokenizer.eos_token, "").replace(processor.tokenizer.pad_token, "")
sequence = re.sub(r"<.*?>", "", sequence, count=1).strip()  # remove first task start token
print(processor.token2json(sequence))
{'menu': {'nm': 'CINNAMON SUGAR', 'unitprice': '17,000', 'cnt': '1 x', 'price': '17,000'}, 'sub_total': {'subtotal_price': '17,000'}, 'total': 
{'total_price': '17,000', 'cashprice': '20,000', 'changeprice': '3,000'}}

Transformers

Donut

Примечания

DonutSwinConfig

класс transformers.DonutSwinConfig

DonutImageProcessor

класс transformers.DonutImageProcessor

preprocess

DonutImageProcessorPil

класс transformers.DonutImageProcessorPil

preprocess

DonutProcessor

класс transformers.DonutProcessor

__call__

from_pretrained

save_pretrained

batch_decode

decode

DonutSwinModel

класс transformers.DonutSwinModel

forward

DonutSwinForImageClassification

класс transformers.DonutSwinForImageClassification

forward

call