简要回答。
VRAM 存放由 GPU 直接使用的数据，而 RAM 供系统和处理器任务使用。选择时，请估算完整负载所需的内存，并为临时数据、上下文和并发请求留出余量。
- VRAM 的 GPU 与系统 RAM 不能互换。
- 模型文件并不代表其运行期间所需的全部内存。
- 请结合您的软件、精度和目标负载来比较各项配置。
01这两种内存有什么用途？
RAM 由系统、文件加载、进程和数据处理使用。显存，即 VRAM，存放 GPU 计算所需的数据。NVMe 存储用于保存文件，其作用又有所不同。
部分软件可以在 CPU 内存与 GPU 之间移动部分数据。此功能取决于所用硬件和引擎。它并不意味着全部系统 RAM 会自动变为 VRAM，也不保证性能相同。
02对于 AI 模型，所需的不止是权重
权重是模型的参数。其内存占用主要取决于参数数量和所选精度。作为简化计算，七十亿个参数按两字节计算约为 14 十亿字节，这还未计入软件的其他需求。因此，这一计算并不保证 16 GB 的显卡就足够。
在推理过程中，KV 缓存会保存生成所需的信息。其占用随架构、序列长度和并行处理的请求数量而变化。引擎的工作空间和其他已加载的模型也必须计入。
03推理、训练和渲染的需求各不相同
推理是指使用模型生成结果。训练或某些适配方法会增加其他工作数据，尤其是与梯度计算和优化相关的数据。在推理中得到的测量结果不能自动用于确定训练的规模。
对于 3D 渲染，请改为测试一个具有代表性场景，包含其纹理、几何体和引擎设置。使用同一软件的两个项目可能有截然不同的内存需求。因此，仅凭软件名称不足以选择容量。
04阅读 GPU WispHost 配置表
该表格区分显存与服务器 RAM。五种配置均包含一块独立专用显卡。下列数值为产品目录中的容量，而非性能结果，也不承诺某一模型一定能装入内存。
| 配置 | GPU | VRAM | RAM 系统 |
|---|---|---|---|
| Wisp Compute16 | RTX A4000 | 16 GB | 64 GB |
| Wisp Compute24 | RTX 4090 | 24 GB | 128 GB |
| Wisp Compute32 | RTX 5090 | 32 GB | 192 GB |
| Wisp Tensor A80 | A100 | 80 GB | 256 GB |
| Wisp Tensor H80 | H100 | 80 GB | 384 GB |
05准备可复现的测试
请记录模型或场景、其版本、精度、引擎、批处理大小和输入尺寸。然后测量内存占用峰值和获得结果所需的时间。对于交互式服务，还需加入与预期用户数相对应的并发负载。
请将这些参数与测试结果一并保存。缺少这些参数时，比较两个速度数值可能等同于比较不同的任务。如果内存溢出，请先检查引擎设置及其影响，再断定只需更换显卡。
06选择适合您负载的余量
请先确定最具代表性的最严苛场景所需容量，然后为数据波动和并发变化预留余量。接着综合比较 GPU、RAM、vCPU、存储和网络。更强大的显卡无法解决限制整个链路的数据加载或 CPU 处理问题。
来源与参考资料
如需深入了解技术要点并查找信息来源。