Accelerate documentation
大模型推理
大模型推理
Accelerate 带来的最大突破之一是 Big Model Inference,它允许你对无法完全装入显卡的模型执行推理。
本教程将向您展示如何在 Accelerate 和 Hugging Face 生态系统中使用 Big Model Inference。
Accelerate
加载 PyTorch 模型的典型工作流程如下所示。ModelClass 是一个超出您设备(mps 或 cuda 或 xpu)GPU 内存的模型。
import torch
my_model = ModelClass(...)
state_dict = torch.load(checkpoint_file)
my_model.load_state_dict(state_dict)在使用大模型推理时,第一步是使用init_empty_weights上下文管理器初始化一个空的模型骨架。由于my_model是“无参数”的,因此这一步不需要占用任何内存。
from accelerate import init_empty_weights
with init_empty_weights():
my_model = ModelClass(...)接下来,将权重加载到模型中以进行推理。
load_checkpoint_and_dispatch() 方法会在您的空模型中加载检查点,并将每一层的权重分发到所有可用设备上,优先使用速度最快的设备(GPU、MPS、XPU、NPU、MLU、SDAA、MUSA),然后再使用较慢的设备(CPU 和硬盘)。
设置 device_map="auto" 会优先自动填满所有可用的 GPU 空间,然后是 CPU,最后,如果内存仍然不足,则使用硬盘(绝对最慢的选项)。
有关如何设计自定义设备映射的详细信息,请参阅设计设备映射指南。
from accelerate import load_checkpoint_and_dispatch
model = load_checkpoint_and_dispatch(
model, checkpoint=checkpoint_file, device_map="auto"
)如果存在某些不应被拆分的层“块”,请将其传入 no_split_module_classes(更多详情请参见 此处)。
模型的权重也可以分片为多个检查点以节省内存,例如当 state_dict 无法装入内存时(更多详情请参见 此处)。
现在模型已完全分发,您可以执行推理。
input = torch.randn(2,3)
device_type = next(iter(model.parameters())).device.type
input = input.to(device_type)
output = model(input)每次输入通过一个层时,它都会从 CPU 发送到 GPU(或从磁盘到 CPU 再到 GPU),计算输出后,该层会从 GPU 移除并沿链路向下传递。虽然这会增加推理的开销,但只要最大的层能放入你的 GPU,你就可以在系统上运行任意大小的模型。
可以使用多块 GPU(即“模型并行”),但在任意时刻只有一块 GPU 处于活动状态。这会导致 GPU 必须等待前一块 GPU 向其发送输出。您应使用 Python 正常启动脚本,而不是使用 torchrun 或 accelerate launch 等其他工具。
下面是一个的完整示例。
import torch
from accelerate import init_empty_weights, load_checkpoint_and_dispatch
with init_empty_weights():
model = MyModel(...)
model = load_checkpoint_and_dispatch(
model, checkpoint=checkpoint_file, device_map="auto"
)
input = torch.randn(2,3)
device_type = next(iter(model.parameters())).device.type
input = input.to(device_type)
output = model(input)Hugging Face 生态系统
Hugging Face 生态系统中的其他库,例如 Transformers 或 Diffusers,也在其 from_pretrained 构造函数中支持大模型推理。
您只需在 from_pretrained 中添加 device_map="auto" 即可启用大模型推理。
例如,使用 Big Model Inference 加载 Big Sciences T0pp 110 亿参数模型。
from transformers import AutoModelForSeq2SeqLM
model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp", device_map="auto")加载模型后,之前提到的空初始化和智能分发步骤会依次执行,模型随即完全就绪,可以充分利用机器上的所有资源。通过这些构造函数,你还可以指定 torch_dtype 参数以较低精度加载模型,从而节省更多内存。
from transformers import AutoModelForSeq2SeqLM
model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/T0pp", device_map="auto", torch_dtype=torch.float16)后续步骤
如需更详细地了解大模型推理,请务必查阅概念指南!
Update on GitHub