# VRAM 与 RAM：选择 GPU 时应关注哪种内存？

[对应的网页](https://wisphost.com/zh/blog/gpu-vram-vs-ram/)

某方案可能标注 24 GB 显存和 128 GB RAM。这些数字不能相加为单一资源：它们描述的是服务器不同部分使用的两个内存空间。

作者 WispHost。发布于 2026-11-01。

主题：GPU 与 AI。

## 简要回答

VRAM 存放由 GPU 直接使用的数据，而 RAM 供系统和处理器任务使用。选择时，请估算完整负载所需的内存，并为临时数据、上下文和并发请求留出余量。

- VRAM 的 GPU 与系统 RAM 不能互换。
- 模型文件并不代表其运行期间所需的全部内存。
- 请结合您的软件、精度和目标负载来比较各项配置。

## 这两种内存各有何用途？

RAM 由系统、文件加载、进程和数据处理使用。显存，即 VRAM，存放 GPU 计算所需的数据。NVMe 存储用于保存文件，其作用又有所不同。

部分软件可以在 CPU 内存与 GPU 之间移动部分数据。此功能取决于所用硬件和引擎。它并不意味着全部系统 RAM 会自动变为 VRAM，也不保证性能相同。

## 对于 AI 模型，要考虑的不只是模型权重

权重是模型的参数。其内存占用主要取决于参数数量和所选精度。作为简化计算，七十亿个参数按两字节计算约为 14 十亿字节，这还未计入软件的其他需求。因此，这一计算并不保证 16 GB 的显卡就足够。

在推理过程中，KV 缓存会保存生成所需的信息。其占用随架构、序列长度和并行处理的请求数量而变化。引擎的工作空间和其他已加载的模型也必须计入。

## 推理、训练和渲染的需求并不相同

推理是指使用模型生成结果。训练或某些适配方法会增加其他工作数据，尤其是与梯度计算和优化相关的数据。在推理中得到的测量结果不能自动用于确定训练的规模。

对于 3D 渲染，请改为测试一个具有代表性场景，包含其纹理、几何体和引擎设置。使用同一软件的两个项目可能有截然不同的内存需求。因此，仅凭软件名称不足以选择容量。

## 阅读 GPU WispHost 表格

该表格区分显存与服务器 RAM。五种配置均包含一块独立专用显卡。下列数值为产品目录中的容量，而非性能结果，也不承诺某一模型一定能装入内存。

| 配置 | GPU | VRAM | RAM 系统 |
| --- | --- | --- | --- |
| Wisp Compute16 | RTX A4000 | 16 GB | 64 GB |
| Wisp Compute24 | RTX 4090 | 24 GB | 128 GB |
| Wisp Compute32 | RTX 5090 | 32 GB | 192 GB |
| Wisp Tensor A80 | A100 | 80 GB | 256 GB |
| Wisp Tensor H80 | H100 | 80 GB | 384 GB |

## 准备可复现的测试

请记录模型或场景、其版本、精度、引擎、批处理大小和输入尺寸。然后测量内存占用峰值和获得结果所需的时间。对于交互式服务，还需加入与预期用户数相对应的并发负载。

请将这些参数与测试结果一并保存。缺少这些参数时，比较两个速度数值可能等同于比较不同的任务。如果内存溢出，请先检查引擎设置及其影响，再断定只需更换显卡。

## 选择适合您负载的余量

请先确定最具代表性的最严苛场景所需容量，然后为数据波动和并发变化预留余量。接着综合比较 GPU、RAM、vCPU、存储和网络。更强大的显卡无法解决限制整个链路的数据加载或 CPU 处理问题。

## 来源与参考

- [NVIDIA — 推理中的模型内存与 KV 缓存](https://developer.nvidia.com/blog/mastering-llm-techniques-inference-optimization/)
- [NVIDIA — CPU 内存与 GPU 之间的交换](https://developer.nvidia.com/blog/accelerate-large-scale-llm-inference-and-kv-cache-offload-with-cpu-gpu-memory-sharing)
- [NVIDIA — 为推理配置 GPU](https://developer.nvidia.com/blog/how-to-size-gpus-for-ai-inference-and-tco-without-overspending/)
- [PyTorch — 权重、梯度和优化器状态的内存](https://docs.pytorch.org/tutorials/intermediate/optimizer_step_in_backward_tutorial.html)

## 您的下一步

[比较各 GPU 及其显存](https://wisphost.com/zh/gpu/)

## 接下来阅读

- [为 VPS 应预留多少 vCPU、多少 RAM 和多少存储空间？](https://wisphost.com/zh/blog/vps-resource-sizing/)
- [如何选择服务器区域？](https://wisphost.com/zh/blog/hosting-region-selection/)

[全部 WispHost 指南](https://wisphost.com/zh/blog/)