Transformers documentation

AWQ

Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AWQ

Activation-aware Weight Quantization(AWQ)은 LLM 성능에 중요한 소수의 가중치를 보존하여 모델의 성능 저하를 최소화하면서 4-bit로 압축합니다.

AWQ 알고리즘으로 모델을 양자화하는 라이브러리는 llm-awq, autoawq, optimum-intel 등 여러 가지가 있습니다. Transformers는 llm-awq와 autoawq 라이브러리로 양자화된 모델을 로드하는 것을 지원합니다. 이 가이드에서는 autoawq로 양자화된 모델을 로드하는 방법을 안내하지만, llm-awq로 양자화된 모델의 경우에도 과정은 유사합니다.

아래 명령을 실행하여 autoawq를 설치합니다

pip install autoawq

AutoAWQ는 Transformers를 4.47.1 버전으로 강등시킵니다. AutoAWQ로 추론을 수행하려면 AutoAWQ 설치 후 Transformers 버서를 다시 설치해야 할 수 있습니다.

모델의 config.json 파일에서 quant_method 키를 확인하여 AWQ 양자화 모델인지 식별합니다.

{
  "_name_or_path": "/workspace/process/huggingfaceh4_zephyr-7b-alpha/source",
  "architectures": [
    "MistralForCausalLM"
  ],
  ...
  ...
  ...
  "quantization_config": {
    "quant_method": "awq",
    "zero_point": true,
    "group_size": 128,
    "bits": 4,
    "version": "gemm"
  }
}

from_pretrained()로 AWQ 양자화 모델을 로드합니다. 성능상의 이유로 기본적으로 나머지 가중치를 fp16으로 설정합니다. dtype 매개변수를 사용하여 나머지 가중치를 다른 형식으로 로드할 수 있습니다.

모델이 CPU에 로드된 경우, device_map 매개변수를 사용하여 가속기로 이동합니다.

from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import Accelerator
import torch

device = Accelerator().device

model = AutoModelForCausalLM.from_pretrained(
  "TheBloke/zephyr-7B-alpha-AWQ",
  dtype=torch.float32,
  device_map=device
)

attn_implementation을 사용하여 FlashAttention2를 활성화하고 추론을 추가로 가속화하세요.

from transformers import AutoModelForCausalLM, AutoTokenizer
from accelerate import Accelerator

model = AutoModelForCausalLM.from_pretrained(
  "TheBloke/zephyr-7B-alpha-AWQ",
  attn_implementation="flash_attention_2",
  device_map=Accelerator().device
)

Fused 모듈

Fused 모듈은 정확도와 성능을 향상시킵니다. Llama와 Mistral 아키텍처의 AWQ 모듈에 대해 기본적으로 지원되며, 지원되지 않는 아키텍처의 AWQ 모듈도 fuse할 수 있습니다.

Fused modules는 FlashAttention2와 같은 다른 최적화 기법과 함께 사용할 수 없습니다.

지원되는 아키텍처
지원되지 않는 아키텍처

AwqConfig을 생성하고, fuse_max_seq_len 및 do_fuse=True 매개변수를 설정하여 융합 모듈을 활성화합니다. fuse_max_seq_len 매개변수는 전체 시퀀스 길이를 나타내며, 컨텍스트 길이와 예상 생성 길이를 포함해야 합니다. 안전을 위해 더 큰 값으로 설정하세요.

아래 예시는 TheBloke/Mistral-7B-OpenOrca-AWQ 모델의 AWQ 모듈을 융합합니다.

import torch
from transformers import AwqConfig, AutoModelForCausalLM

quantization_config = AwqConfig(
    bits=4,
    fuse_max_seq_len=512,
    do_fuse=True,
)
model = AutoModelForCausalLM.from_pretrained(
  "TheBloke/Mistral-7B-OpenOrca-AWQ",
  quantization_config=quantization_config
).to(0)

TheBloke/Mistral-7B-OpenOrca-AWQ 모델은 batch_size=1로, fused modules를 사용하는 경우와 사용하지 않는 경우로 벤치마크되었습니다.

Unfused 모듈
배치 크기Prefill 길이디코딩 길이Prefill 토큰/초토큰/초 디코딩메모리(VRAM)
1323260.098438.45374.50 GB (5.68%)
164641333.6731.66044.50 GB (5.68%)
11281282434.0631.62724.50 GB (5.68%)
12562563072.2638.17314.50 GB (5.68%)
15125123184.7431.68194.59 GB (5.80%)
1102410243148.1836.80314.81 GB (6.07%)
1204820482927.3335.26765.73 GB (7.23%)
Fused 모듈
배치 크기Prefill 길이디코딩 길이Prefill 토큰/초토큰/초 디코딩메모리(VRAM)
1323281.489980.25694.00 GB (5.05%)
164641756.1106.264.00 GB (5.05%)
11281282479.32105.6314.00 GB (5.06%)
12562561813.685.74854.01 GB (5.06%)
15125122848.997.7014.11 GB (5.19%)
1102410243044.3587.73234.41 GB (5.57%)
1204820482715.1189.47095.57 GB (7.04%)

optimum-benchmark 라이브러리를 사용하여 융합(fused) 및 비융합(unfused) 모듈의 속도와 처리량도 테스트했습니다.

generate throughput per batch size
forward 피크 메모리/배치 크기
forward latency per batch size
generate 처리량/배치 크기

ExLlamaV2

ExLlamaV2 커널은 더 빠른 prefill 및 decoding을 지원합니다. ExLlamaV2를 지원하는 최신 버전의 autoawq를 설치하려면 아래 명령을 실행하세요.

pip install git+https://github.com/casper-hansen/AutoAWQ.git

ExLlamaV2 커널을 활성화하려면 AwqConfig에서 version="exllama"를 설정하세요.

ExLlamaV2는 AMD GPU에서 지원됩니다.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer, AwqConfig

quantization_config = AwqConfig(version="exllama")

model = AutoModelForCausalLM.from_pretrained(
    "TheBloke/Mistral-7B-Instruct-v0.1-AWQ",
    quantization_config=quantization_config,
    device_map="auto",
)

리소스

모델을 양자화하고 양자화된 모델을 Hub에 푸시하는 등 다양한 예시를 확인하려면 AWQ 데모 notebook을 실행해 보세요.

Update on GitHub