Transformers documentation

Mistral

Transformers

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2023-10-10에 HF papers에 게시되었으며, 2023-09-27에 Hugging Face Transformers에 기여되었습니다.

Mistral

Mistral은 7B 파라미터 언어 모델로, 사전 학습 및 지시 튜닝된 변형으로 제공되며, 대규모 모델의 확장 비용과 성능, 그리고 효율적인 추론 사이의 균형을 맞추는 데 초점을 맞추고 있습니다. 이 모델은 8K 컨텍스트 길이로 학습된 슬라이딩 윈도우 어텐션(SWA)과 고정된 캐시 크기를 사용하여 더 긴 시퀀스를 보다 효과적으로 처리합니다. 그룹 쿼리 어텐션(GQA)은 추론 속도를 높이고 메모리 요구량을 줄입니다. Mistral은 또한 바이트 폴백 BPE 토크나이저를 갖추고 있어, 문자가 어휘 밖(out-of-vocabulary) 토큰으로 매핑되는 일이 없도록 보장함으로써 토큰 처리와 효율성을 개선합니다.

모든 원본 Mistral 체크포인트는 Mistral AI_ 조직에서 찾을 수 있습니다.

Mistral을 다양한 언어 작업에 적용하는 방법에 대한 추가 예제는 오른쪽 사이드바의 Mistral 모델들을 클릭하여 확인하세요.

use_kernels=True를 from_pretrained()에 설정하여 Hub의 최적화 커널로 지원되는 레이어를 대체합니다. 자세한 내용은 커널 로딩을 참고하세요.

아래 예제는 Pipeline 또는 AutoModel을 사용하여 채팅하는 방법과 커맨드 라인에서 사용하는 방법을 보여줍니다.

Pipeline

AutoModel

transformers CLI

Quantization은 가중치를 더 낮은 정밀도로 표현하여 대규모 모델의 메모리 부담을 줄입니다. 사용 가능한 다른 양자화 백엔드에 대해서는 Quantization 개요를 참조하세요.

아래 예제는 bitsandbytes를 사용하여 가중치만 4-bit로 양자화합니다.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig


# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype=torch.float16,
)

model = AutoModelForCausalLM.from_pretrained("mistralai/Mistral-7B-Instruct-v0.3", quantization_config=quantization_config, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mistral-7B-Instruct-v0.3")

prompt = "My favourite condiment is"

messages = [
    {"role": "user", "content": "What is your favourite condiment?"},
    {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
    {"role": "user", "content": "Do you have mayonnaise recipes?"}
]

model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"The expected output"

AttentionMaskVisualizer를 사용하여 모델이 어떤 토큰에 주의를 기울일 수 있고, 어떤 토큰에는 기울일 수 없는지 더 잘 이해해 보세요.

from transformers.utils.attention_visualizer import AttentionMaskVisualizer


visualizer = AttentionMaskVisualizer("mistralai/Mistral-7B-Instruct-v0.3")
visualizer("Do you have mayonnaise recipes?")

Transformers

Mistral

MistralConfig

클래스 transformers.MistralConfig

MistralCommonBackend

클래스 transformers.MistralCommonBackend

add_special_tokens

add_tokens

apply_chat_template

batch_decode

build_inputs_with_special_tokens

convert_added_tokens

create_token_type_ids_from_sequences

decode

encode

from_pretrained

get_chat_template

get_special_tokens_mask

get_vocab

num_special_tokens_to_add

prepare_for_model

save_chat_templates

save_pretrained

save_vocabulary

토큰화

truncate_sequences

MistralModel

class transformers.MistralModel

forward

MistralForCausalLM

클래스 transformers.MistralForCausalLM

forward

MistralForSequenceClassification

클래스 transformers.MistralForSequenceClassification

forward

MistralForTokenClassification

class transformers.MistralForTokenClassification

forward

MistralForQuestionAnswering

class transformers.MistralForQuestionAnswering

forward