Transformers documentation
AWQ
AWQ
Activation-aware Weight Quantization(AWQ)은 LLM 성능에 중요한 소수의 가중치를 보존하여 모델의 성능 저하를 최소화하면서 4-bit로 압축합니다.
AWQ 알고리즘으로 모델을 양자화하는 라이브러리는 llm-awq, autoawq, optimum-intel 등 여러 가지가 있습니다. Transformers는 llm-awq와 autoawq 라이브러리로 양자화된 모델을 로드하는 것을 지원합니다. 이 가이드에서는 autoawq로 양자화된 모델을 로드하는 방법을 안내하지만, llm-awq로 양자화된 모델의 경우에도 과정은 유사합니다.
아래 명령을 실행하여 autoawq를 설치합니다
pip install autoawq
AutoAWQ는 Transformers를 4.47.1 버전으로 강등시킵니다. AutoAWQ로 추론을 수행하려면 AutoAWQ 설치 후 Transformers 버서를 다시 설치해야 할 수 있습니다.
모델의 config.json 파일에서 quant_method 키를 확인하여 AWQ 양자화 모델인지 식별합니다.
{
"_name_or_path": "/workspace/process/huggingfaceh4_zephyr-7b-alpha/source",
"architectures": [
"MistralForCausalLM"
],
...
...
...
"quantization_config": {
"quant_method": "awq",
"zero_point": true,
"group_size": 128,
"bits": 4,
"version": "gemm"
}
}from_pretrained()로 AWQ 양자화 모델을 로드합니다. 성능상의 이유로 기본적으로 나머지 가중치를 fp16으로 설정합니다. dtype 매개변수를 사용하여 나머지 가중치를 다른 형식으로 로드할 수 있습니다.
모델이 CPU에 로드된 경우, device_map 매개변수를 사용하여 가속기로 이동합니다.
from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import Accelerator
import torch
device = Accelerator().device
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/zephyr-7B-alpha-AWQ",
dtype=torch.float32,
device_map=device
)attn_implementation을 사용하여 FlashAttention2를 활성화하고 추론을 추가로 가속화하세요.
from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import Accelerator
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/zephyr-7B-alpha-AWQ",
attn_implementation="flash_attention_2",
device_map=Accelerator().device
)Fused 모듈
Fused 모듈은 정확도와 성능을 향상시킵니다. Llama와 Mistral 아키텍처의 AWQ 모듈에 대해 기본적으로 지원되며, 지원되지 않는 아키텍처의 AWQ 모듈도 fuse할 수 있습니다.
Fused modules는 FlashAttention2와 같은 다른 최적화 기법과 함께 사용할 수 없습니다.
AwqConfig을 생성하고, fuse_max_seq_len 및 do_fuse=True 매개변수를 설정하여 융합 모듈을 활성화합니다. fuse_max_seq_len 매개변수는 전체 시퀀스 길이를 나타내며, 컨텍스트 길이와 예상 생성 길이를 포함해야 합니다. 안전을 위해 더 큰 값으로 설정하세요.
아래 예시는 TheBloke/Mistral-7B-OpenOrca-AWQ 모델의 AWQ 모듈을 융합합니다.
import torch
from transformers import AwqConfig, AutoModelForCausalLM
quantization_config = AwqConfig(
bits=4,
fuse_max_seq_len=512,
do_fuse=True,
)
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/Mistral-7B-OpenOrca-AWQ",
quantization_config=quantization_config
).to(0)TheBloke/Mistral-7B-OpenOrca-AWQ 모델은 batch_size=1로, fused modules를 사용하는 경우와 사용하지 않는 경우로 벤치마크되었습니다.
| 배치 크기 | Prefill 길이 | 디코딩 길이 | Prefill 토큰/초 | 토큰/초 디코딩 | 메모리(VRAM) |
|---|---|---|---|---|---|
| 1 | 32 | 32 | 60.0984 | 38.4537 | 4.50 GB (5.68%) |
| 1 | 64 | 64 | 1333.67 | 31.6604 | 4.50 GB (5.68%) |
| 1 | 128 | 128 | 2434.06 | 31.6272 | 4.50 GB (5.68%) |
| 1 | 256 | 256 | 3072.26 | 38.1731 | 4.50 GB (5.68%) |
| 1 | 512 | 512 | 3184.74 | 31.6819 | 4.59 GB (5.80%) |
| 1 | 1024 | 1024 | 3148.18 | 36.8031 | 4.81 GB (6.07%) |
| 1 | 2048 | 2048 | 2927.33 | 35.2676 | 5.73 GB (7.23%) |
| 배치 크기 | Prefill 길이 | 디코딩 길이 | Prefill 토큰/초 | 토큰/초 디코딩 | 메모리(VRAM) |
|---|---|---|---|---|---|
| 1 | 32 | 32 | 81.4899 | 80.2569 | 4.00 GB (5.05%) |
| 1 | 64 | 64 | 1756.1 | 106.26 | 4.00 GB (5.05%) |
| 1 | 128 | 128 | 2479.32 | 105.631 | 4.00 GB (5.06%) |
| 1 | 256 | 256 | 1813.6 | 85.7485 | 4.01 GB (5.06%) |
| 1 | 512 | 512 | 2848.9 | 97.701 | 4.11 GB (5.19%) |
| 1 | 1024 | 1024 | 3044.35 | 87.7323 | 4.41 GB (5.57%) |
| 1 | 2048 | 2048 | 2715.11 | 89.4709 | 5.57 GB (7.04%) |
optimum-benchmark 라이브러리를 사용하여 융합(fused) 및 비융합(unfused) 모듈의 속도와 처리량도 테스트했습니다.
fused modules를 지원하지 않는 아키텍처의 경우, AwqConfig를 생성하고 modules_to_fuse에서 커스텀 fusing 매핑을 정의하여 어떤 모듈을 fuse해야 하는지 결정합니다.
아래 예시는 TheBloke/Yi-34B-AWQ 모델의 AWQ 모듈을 융합합니다.
import torch
from transformers import AwqConfig, AutoModelForCausalLM
quantization_config = AwqConfig(
bits=4,
fuse_max_seq_len=512,
modules_to_fuse={
"attention": ["q_proj", "k_proj", "v_proj", "o_proj"],
"layernorm": ["ln1", "ln2", "norm"],
"mlp": ["gate_proj", "up_proj", "down_proj"],
"use_alibi": False,
"num_attention_heads": 56,
"num_key_value_heads": 8,
"hidden_size": 7168
}
)
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/Yi-34B-AWQ",
quantization_config=quantization_config
).to(0)modules_to_fuse 매개변수에는 다음 키가 포함되어야 합니다.
"attention": 다음 순서대로 병합할 attention 레이어의 이름: query, key, value, output projection layer. 이 레이어들을 병합하지 않으려면 빈 리스트를 전달하세요."layernorm": 커스텀 fused LayerNorm으로 교체하려는 모든 LayerNorm 레이어의 이름입니다. 이 레이어들을 fuse하지 않으려면 빈 리스트를 전달하세요."mlp": 단일 MLP 레이어로 병합할 MLP 레이어의 이름들을 (gate (dense, layer, post-attention) / up / down 레이어) 순서대로 나열합니다."use_alibi": 모델이 ALiBi 위치 임베딩을 사용하는 경우."num_attention_heads": 어텐션 헤드의 수."num_key_value_heads": Grouped Query Attention(GQA) 구현에 사용할 key value head의 수입니다.매개변수 값 attention num_key_value_heads=num_attention_heads멀티 헤드 어텐션 num_key_value_heads=1멀티-쿼리 어텐션 num_key_value_heads=...Grouped Query Attention "hidden_size": 숨겨진 표현의 차원.
ExLlamaV2
ExLlamaV2 커널은 더 빠른 prefill 및 decoding을 지원합니다. ExLlamaV2를 지원하는 최신 버전의 autoawq를 설치하려면 아래 명령을 실행하세요.
pip install git+https://github.com/casper-hansen/AutoAWQ.git
ExLlamaV2 커널을 활성화하려면 AwqConfig에서 version="exllama"를 설정하세요.
ExLlamaV2는 AMD GPU에서 지원됩니다.
import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, AwqConfig
quantization_config = AwqConfig(version="exllama")
model = AutoModelForCausalLM.from_pretrained(
"TheBloke/Mistral-7B-Instruct-v0.1-AWQ",
quantization_config=quantization_config,
device_map="auto",
)리소스
모델을 양자화하고 양자화된 모델을 Hub에 푸시하는 등 다양한 예시를 확인하려면 AWQ 데모 notebook을 실행해 보세요.
Update on GitHub