【Q&A】HAMi 常见问答 - 系列 1

摘要：深入解析 HAMi 平台中的 vGPU 技术实现原理和使用限制。探讨为什么不能在同一 GPU 上申请多个 vGPU，以及 HAMi 平台在 GPU 虚拟化和资源调度方面的优势。通过详细的 Q&A 形式，帮助用户更好地理解和使用 HAMi 平台的 vGPU 功能。

背景和问题

在实际的企业场景中，GPU 资源昂贵且分散在不同团队中，如何高效利用 GPU 成为关键问题。而 vGPU 的出现，为资源的池化和灵活分配提供了可能性。通过逻辑切分，一张 GPU 可以服务多个任务，大大提高了资源利用率。然而，这种机制也带来了一些误解和限制：

单个任务无法同时申请同一物理 GPU 的多个逻辑视图。
vGPU 的切分只是逻辑上的分配，不会实际增加物理资源。
对于需要大量 GPU 资源的任务，仍然需要多张物理 GPU 的支持。

为了解决用户在使用 HAMi 平台过程中遇到的疑惑，我们推出了一系列常见问题（Q&A），帮助更多人更好地了解和使用 HAMi。

vGPU 的概念

vGPU（Virtual GPU）通过虚拟化技术，将一张物理 GPU 切分为多个逻辑实例，每个实例对应一个可供任务使用的 GPU 视图。这种方式并没有实际增加 GPU 的硬件资源，而是为任务提供了虚拟化的资源接口，使其看起来像是独占一个独立的 GPU。

在 HAMi 的实现中，vGPU 的逻辑分割是通过设置 deviceSplitCount 参数来实现的。例如，设定 deviceSplitCount: 10 时，一张物理 GPU 的资源会被切分为最多 10 个逻辑实例，分别分配给 10 个任务。这种逻辑切分的目的是提高资源的利用率，而不是提供额外的物理资源。

vGPU 的特性

内存隔离：每个 vGPU 实例都有其独立的显存空间，避免了任务间的内存干扰；
计算能力分配：基于时间片轮转的方式共享 GPU 计算核心；
带宽共享：所有 vGPU 实例共享物理 GPU 的 PCIe 带宽；
监控粒度：支持针对单个 vGPU 实例的资源使用监控。

为什么不能在一张卡上申请两个 vGPU？

vGPU 的实际意义

vGPU 是物理 GPU 的逻辑视图，不是独立的硬件分区。它的设计初衷是为了让多个任务共享 GPU 的计算资源，而不是让单个任务占用同一张物理 GPU 的多个逻辑视图。在 Kubernetes 等容器化环境中，vGPU 的资源分配是基于任务的。
每个任务申请 GPU 时都会绑定到一个具体的 GPU UUID。如果一个任务申请了 nvidia.com/gpu: 2，这意味着该任务需要两个独立的 GPU（物理或逻辑），而不是单个物理 GPU 上的两个 vGPU。

资源分配机制

vGPU 的资源分配机制决定了同一张物理 GPU 的资源只能被单个任务通过一个逻辑视图访问。这种机制的实现是为了避免任务之间的资源争用和冲突，同时确保每个任务在访问 GPU 时的隔离性和稳定性。
HAMi 的 deviceSplitCount 参数设计目的是让一张 GPU 同时支持多个任务，而不是让单个任务重复占用同一张卡的多个逻辑视图。

容器与节点视图一致性

在容器化部署中，每个 GPU 的逻辑视图（vGPU）都会对应一个唯一的 UUID，该 UUID 直接映射到物理 GPU 的 UUID。因此，即使任务看到有多个 vGPU，这些 vGPU 仍然是同一张 GPU 的逻辑分割，并没有实际增加物理 GPU 的数量。
例如，当任务申请多个 vGPU 时，系统会认为这是需要多张独立的 GPU，而不是同一张 GPU 的多个逻辑实例。

设计初衷与目标

vGPU 的设计目标是通过虚拟化技术提高 GPU 资源利用率，而不是为单个任务提供更大的资源池。通过将一张 GPU 切分为多个逻辑实例，vGPU 能够支持多个轻量级任务同时运行，从而提升整体 GPU 集群的计算效率。
从单个任务的角度来看，它始终只能绑定到一个 GPU 逻辑视图，因此无法同时申请同一物理 GPU 的多个 vGPU。

HAMi 的适配场景

HAMi 平台的设计中，vGPU 主要应用于提升异构计算资源的调度和利用率。在异构 GPU 集群环境中（如 NVIDIA、昇腾、寒武纪等），vGPU 能够统一不同类型 GPU 的调度方式，使其能够按照任务需求灵活分配。
HAMi 平台同样遵循上述 vGPU 的设计逻辑，即单个任务无法同时申请同一张 GPU 的多个逻辑视图，而是需要跨不同 GPU 的逻辑分配。

HAMi 平台的差异化优势

相比其他 GPU 虚拟化方案，HAMi 平台具有以下特点：

统一调度框架

支持多种异构计算设备（NVIDIA、昇腾、寒武纪等）；
统一的资源分配和调度策略；

灵活的资源划分

支持调整 deviceSplitCount；
可根据工作负载特征优化分配策略；

完整的监控体系

支持 vGPU 级别的资源使用监控；
提供详细的性能指标和告警机制；

后续

睿思智联作为开源社区 HAMi 的核心开发者之一，在持续推进 HAMi 社区的共建与发展。

如果您对 vGPU 的其他使用场景或 HAMi 平台的更多功能有疑问，请随时联系我们，我们将持续更新 Q&A 系列文章，帮助您高效使用 HAMi 。

如果你也想成为 HAMi 的贡献者，请参考: 贡献者指南。