Transformers documentation

Janus

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2024-10-17에 HF papers에 게시되었으며, 2025-04-17에 Hugging Face Transformers에 기여되었습니다.

Janus

개요

The Janus Model was originally proposed in Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation by DeepSeek AI team and later refined in Janus-Pro: Unified Multimodal Understanding and Generation with Data and Model Scaling. Janus is a vision-language model that can generate both image and text output, it can also take both images and text as input.

모델은 이미지와 텍스트를 교차(interleaved) 형식으로 함께 생성하지 않습니다. 텍스트를 생성할지 이미지를 생성할지를 나타내는 매개변수를 사용자가 전달해야 합니다.

원래 논문의 초록은 다음과 같습니다:

본 논문에서는 멀티모달 이해와 생성을 통합하는 자기회귀 프레임워크인 Janus를 소개합니다. Chameleon과 같은 기존 연구는 주로 두 작업 모두에 단일 시각 인코더를 의존합니다. 그러나 멀티모달 이해와 생성은 서로 다른 수준의 정보 세밀함을 요구하기 때문에, 이러한 접근 방식은 특히 멀티모달 이해에서 최적이지 않은 성능을 초래할 수 있습니다. 이 문제를 해결하기 위해 시각 인코딩을 독립적인 경로로 분리하되, 처리에는 여전히 단일 통합 transformer 아키텍처를 활용합니다. 이러한 분리는 시각 인코더가 이해와 생성에서 수행하는 역할 간의 충돌을 완화할 뿐만 아니라 프레임워크의 유연성도 향상시킵니다. 예를 들어, 멀티모달 이해와 생성 구성 요소 모두 가장 적합한 인코딩 방법을 독립적으로 선택할 수 있습니다. 실험 결과, Janus는 이전의 통합 모델을 능가하고 작업별 모델의 성능을匹敵하거나 초과하는 것으로 나타났습니다. Janus의 단순성, 높은 유연성, 그리고 효과성은 차세대 통합 멀티모달 모델의 강력한 후보로 자리매김합니다.

이후에 공개된 aforementioned Janus-Pro 논문의 초록은 다음과 같습니다:

본 연구에서는 이전 작업인 Janus의 고급 버전인 Janus-Pro를 소개합니다. 구체적으로 Janus-Pro는 (1) 최적화된 학습 전략, (2) 확장된 학습 데이터, (3) 더 큰 모델 규모로의 스케일링을 포함합니다. 이러한 개선 사항으로 Janus-Pro는 멀티모달 이해와 텍스트-이미지 지시 따르기 능력에서 상당한 진전을 이루었으며, 텍스트-이미지 생성의 안정성도 향상시켰습니다. 본 연구가 해당 분야의 추가 탐구를 자극하기를 바랍니다. 코드와 모델은 공개되어 있습니다.

이 모델은 Yaswanth Gali와 Hugo Silva가 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

사용 예시

단일 이미지 추론

… 단일 이미지로 시각적 이해를 수행하는 예시입니다.

모델은 채팅을 위해 특정 프롬프트 형식으로 학습되었습니다. 프롬프트를 올바르게 포맷하려면 processor.apply_chat_template(my_conversation_dict)를 사용하세요.


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"
# Prepare Input for generation.
messages = [
    {
        "role": "user",
        "content": [
            {'type':'image', 'url': 'http://images.cocodataset.org/val2017/000000039769.jpg'},
            {'type':"text", "text":"What do you see in this image?."}
        ]
    },
]

# Set generation mode to `text` to perform text generation.
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
).to(model.device)

output = model.generate(**inputs, max_new_tokens=40,generation_mode='text',do_sample=True)
text = processor.decode(output[0], skip_special_tokens=True)
print(text)

멀티 이미지 추론

Janus는 여러 이미지를 입력으로 받아 추론을 수행할 수 있으며, 이 이미지들은 동일한 프롬프트에 속할 수도 있고, 여러 대화를 병렬로 처리하는 배치 추론에서 서로 다른 프롬프트에 속할 수도 있습니다. 방법은 다음과 같습니다:


from transformers import JanusForConditionalGeneration, JanusProcessor


model_id = "deepseek-community/Janus-Pro-1B"

image_urls = [
    "http://images.cocodataset.org/val2017/000000039769.jpg",
    "https://www.ilankelman.org/stopsigns/australia.jpg",
    "https://huggingface.co/microsoft/kosmos-2-patch14-224/resolve/main/snowman.jpg"
]

messages = [
    [
        {
            "role": "user",
            "content": [
                {"type": "text", "text": "What’s the difference between"},
                {"type": "image", "url": image_urls[0]},
                {"type": "text", "text": " and "},
                {"type": "image", "url": image_urls[1]}
            ]
        }
    ],
    [
        {
            "role": "user",
            "content": [
                {"type": "image", "url": image_urls[2]},
                {"type": "text", "text": "What do you see in this image?"}
            ]
        }
    ]
]

# Load model and processor
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(
    model_id, device_map="auto"
)

inputs = processor.apply_chat_template(
    messages,
    add_generation_prompt=True,
    generation_mode="text",
    tokenize=True,
    padding=True,
    return_dict=True,
    return_tensors="pt"
).to(model.device)

# Generate response
output = model.generate(**inputs, max_new_tokens=40, generation_mode='text', do_sample=False)
text = processor.batch_decode(output, skip_special_tokens=True)
print(text)

텍스트에서 이미지 생성

Janus는 프롬프트를 입력받아 이미지를 생성할 수도 있습니다.

from transformers import JanusForConditionalGeneration, JanusProcessor


# Set generation mode to `image` to prepare inputs for image generation..

model_id = "deepseek-community/Janus-Pro-1B"
processor = JanusProcessor.from_pretrained(model_id)
model = JanusForConditionalGeneration.from_pretrained(model_id,
            device_map="auto")

messages = [
    {
        "role": "user",
        "content": [
            {"type": "text", "text": "A dog running under the rain."},
        ],
     }
]

prompt = processor.apply_chat_template(messages, add_generation_prompt=True)
inputs = processor(text=prompt,generation_mode="image",return_tensors="pt").to(model.device)

# Set num_return_sequence parameter to generate multiple images per prompt.
model.generation_config.num_return_sequences = 2
outputs = model.generate(**inputs,
                         generation_mode="image",
                         do_sample=True,
                         use_cache=True,
                         )
# Perform post-processing on the generated token ids.
decoded_image = model.decode_image_tokens(outputs)
images = processor.postprocess(list(decoded_image.float()),return_tensors="PIL.Image.Image").to(model.device)
# Save the image
for i, image in enumerate(images['pixel_values']):
    image.save(f"result{i}.png")

Transformers

Janus

개요

사용 예시

단일 이미지 추론

멀티 이미지 추론

텍스트에서 이미지 생성

JanusConfig

class transformers.JanusConfig

JanusVisionConfig

class transformers.JanusVisionConfig

JanusVQVAEConfig

class transformers.JanusVQVAEConfig

JanusProcessor

클래스 transformers.JanusProcessor

__call__

JanusImageProcessor

class transformers.JanusImageProcessor

preprocess

JanusImageProcessorPil

클래스 transformers.JanusImageProcessorPil

preprocess

JanusVisionModel

class transformers.JanusVisionModel

forward

JanusVQVAE

클래스 transformers.JanusVQVAE

forward

JanusModel

class transformers.JanusModel

forward

get_image_features

JanusForConditionalGeneration

class transformers.JanusForConditionalGeneration

forward

call