Accelerate documentation

模型内存估算器

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.16.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

模型内存估算器

在探索可用于您机器的潜在模型时,一个非常困难的方面是了解在当前设备(例如将模型加载到 CUDA 或 XPU 上)的内存中,能容纳多大的模型。

为了帮助缓解这一问题,Accelerate 提供了一个通过 accelerate estimate-memory 访问的命令行界面。本教程将指导你如何使用该工具、预期会看到什么,并在最后链接到托管在 Hub 上的交互式演示,你甚至可以将这些结果直接发布到模型仓库中!

目前,我们支持搜索可用于 timm 和 transformers 的模型。

该 API 会将模型加载到 meta 设备上,因此我们实际上并未下载并将模型的完整权重加载到内存中,也不需要这样做。因此,测量 80 亿参数(或更多)的模型完全没问题,无需担心 CPU 是否能处理!

Gradio 演示

以下是几个与上述内容相关的 gradio 演示。第一个是 Hugging Face 官方的内存估算空间,直接使用了 Accelerate:

一位社区成员采纳了这一想法并进一步扩展,使您可以直接筛选模型,并查看在特定的 GPU 限制和 LoRA 配置下能否运行某个 LLM。要试用该功能,请参阅此处以获取更多详细信息。

该命令

使用 accelerate estimate-memory 时,您需要传入要使用的模型名称,可能还需要传入该模型所使用的框架(如果无法自动检测),以及您希望模型加载时使用的数据类型。

例如,以下是如何计算bert-base-cased的内存占用:

accelerate estimate-memory bert-base-cased

这将下载 bert-based-cased 的 config.json,在 meta 设备上加载模型,并报告其将占用的空间:

加载 bert-base-cased 的内存使用情况:

dtype最大层总大小使用 Adam 进行训练
float3284.95 MB418.18 MB1.61 GB
float1642.47 MB206.59 MB826.36 MB
int821.24 MB103.29 MB413.18 MB
int410.62 MB51.65 MB206.59 MB

默认情况下,它会返回所有支持的 dtype(从 int4 到 float32),但如果你只关注其中特定的几种,可以进行筛选。

特定库

如果无法自动确定源库(例如 bert-base-cased 的情况),则可以传入库名称。

accelerate estimate-memory HuggingFaceM4/idefics-80b-instruct --library_name transformers

加载 HuggingFaceM4/idefics-80b-instruct 的内存使用情况:

dtype最大层总大小使用 Adam 进行训练
float323.02 GB297.12 GB1.16 TB
float161.51 GB148.56 GB594.24 GB
int8772.52 MB74.28 GB297.12 GB
int4386.26 MB37.14 GB148.56 GB
accelerate estimate-memory timm/resnet50.a1_in1k --library_name timm

加载 timm/resnet50.a1_in1k 的内存使用情况:

dtype最大层总大小使用 Adam 进行训练
float329.0 MB97.7 MB390.78 MB
float164.5 MB48.85 MB195.39 MB
int82.25 MB24.42 MB97.7 MB
int41.12 MB12.21 MB48.85 MB

特定的 dtype

如前所述,虽然默认情况下我们返回 int4 到 float32 之间的数据类型,但可以使用 float32、float16、int8 和 int4 中的任意一种数据类型。

为此,请在指定 --dtypes 之后传入它们:

accelerate estimate-memory bert-base-cased --dtypes float32 float16

加载 bert-base-cased 的内存使用情况:

dtype最大层总大小使用 Adam 进行训练
float3284.95 MB413.18 MB1.61 GB
float1642.47 MB206.59 MB826.36 MB

此计算器的注意事项

此计算器将告诉您仅加载模型所需的内存量,而非执行推理所需的内存量。

该计算结果与实际值相差不超过百分之几,因此能非常准确地反映所需的内存量。例如,在 CUDA 上以全精度加载 bert-base-cased 时,实际占用 413.68 MB,而计算器估算为 413.18 MB。

在执行推理时,根据 EleutherAI 的研究结果,预计最多会增加 20% 的额外开销。我们将开展研究,以找到这些数值的更准确估算值,并在完成后更新此计算器。

Update on GitHub