VMware ESXi DirectPath I/O 直通GPU卡给虚拟机使用

在虚拟机中使用 GPU 主要有三种设置：DirectPath I/O、NVIDIA vGPU、vSphere Bitfusion，几个月前，已经介绍了NVIDIA vGPU部署步骤，参考：VMware ESXi安装NVIDIA GPU显卡硬件驱动和配置

有些时候，虚拟机需要独享GPU资源，那么就需要用到DirectPath I/O (直通)，ESXi hypervisor 把 GPU 设备直接映射成虚机中的 GPU 设备，供应用使用。DirectPath I/O 方法通常用于高性能计算方案中，是在虚机中使用 GPU 能够达到最高性能的一种方法。（缺点：虚拟机不支持vMotion和快照）

环境：ESXi 6.7U3；NVIDIA Tesla V100 PCIe 32G。

1、登录ESXi主机，管理，硬件，PCI设备，勾选GPU卡，切换直通，会提示要求重启主机，重启主机之后，该GPU设备直通一栏显示为“活动”。

2、按常规方式新建虚拟机，添加PCI设备，选中对应GPU卡。注意，内存注意一定要勾选预留，否则开机后报错如下：无法打开虚拟机 win10 的电源。内存设置无效: 内存预留 (sched.mem.min) 应该等于内存大小 (32768)。 单击此处了解更多详细信息。

解决办法：预留所有客户机内存（全部锁定）

3、再次开机，继续报错：打开虚拟机的电源。模块“DevicePowerOn”打开电源失败。 单击此处了解更多详细信息。

解决办法：

1）先确认虚拟机是否EFI引导：编辑虚拟机 – 虚拟机选项 – 引导选项 – 固件 – EFI；

2）编辑虚拟机 – 虚拟机选项 – 高级 – 配置参数 – 编辑配置：添加以下2条；

pciPassthru.use64bitMMIO=”TRUE”

pciPassthru.64bitMMIOSizeGB=64

备注：MMIOSize设置为虚拟机分配的所有GPU显存大小的两倍

4、虚拟机安装操作系统和NVIDIA驱动之后，在虚拟机设备管理器已经能看到V100显卡了。