请问有人了解 kvm 显卡直通吗? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
woyaojizhu8
V2EX    Linux

请问有人了解 kvm 显卡直通吗?

  •  
  •   woyaojizhu8 2016-07-18 22:54:54 +08:00 23183 次点击
    这是一个创建于 3376 天前的主题,其中的信息可能已经有所发展或是发生改变。
    一直觉得虚拟机图形性能不够,想试试显卡直通,但看了相关介绍感觉挺困难的,比较挑硬件。这段时间一直在考虑接下来要配的台式机的配置,现在想把显卡直通这个也考虑进去,请问 e3 v3 +z87 主板和 e3 v5 +c236 主板哪个更适合显卡直通呢?宿主机系统为 ubuntu 16.04 ,客户机应该是 windows ,插两张显卡,一张主卡,一张直通给虚拟机,均限定为 n 卡,这两张显卡又选什么比较好呢?
    之前发的求配置贴: https://v2ex.com/t/290762#reply53
    24 条回复    2018-02-06 17:24:32 +08:00
    fzinfz
        1
    fzinfz  
       2016-07-18 23:32:25 +08:00
    测试过某 C602 品牌机,发现服务器很挑显卡,非兼容列表的问题 N 多, Passthrough 更挑一言不合就死机,不知道通病还是个例。。。

    客户机 windows 推荐试下 Windows server 2016 preview 的 remotefx , i3 核显都跑得很欢
    smilejustforfan
        2
    smilejustforfan  
       2016-07-19 01:17:24 +08:00
    我之前用 vfio 做 passthrough ,卡是 k2 ,主板不, u 是 i7
    CupTools
        3
    CupTools  
       2016-07-19 04:26:45 +08:00
    CupTools
        4
    CupTools  
       2016-07-19 04:27:51 +08:00
    主板要支持 VT-d, that's a given
    然后最好是服务器芯片,例如 C236

    普通消费者板容易出问题,特别是 ACS 或者 VGA i915
    iamwb
        5
    iamwb  
       2016-07-19 07:48:13 +08:00 via Android
    参考 unRAID
    Siril
        6
    Siril  
       2016-07-19 13:24:35 +08:00   2
    以前折腾过这个,得出几点总结:
    esxi + AMD 显卡 + 正确的显卡驱动 + 运气 = 玩的 happy ;
    HD7770 ( R7770 )约等于 R7 250 ,这个级别以上的显卡容易遇到奇怪问题;
    kvm = 痛苦折腾,未能折腾成功,理论上可以;
    nvidia 消费级显卡(即使是泰坦)= 没可能;
    集成显卡=不能直通;

    vt-d 技术,需要 cpu 和主板同时支持方可启用,
    intel 的
    主板
    消费级 Z 系列、 B 系列 大厂主板(某 G 某 A)基本都支持,可能有 bug ,
    H 系列没指望,
    服务器芯片组基本都没问题。
    cpu vt-d 的支持: i5 、 i7 不带 k ,或 e3 e5 e7 ,详见 ark.intel.com

    ---------------
    amd 的据说全家支持,然而性能和功耗发热悲剧,
    上面是至少 1 年前的经验,
    最新情况如何,比如.... 可能 (
    kvm 的 bug 修了或者配置变容易了,
    nvidia 新显卡放开限制了
    ),
    有待楼主自行测试。
    Siril
        7
    Siril  
       2016-07-19 13:33:17 +08:00
    esxi + i7/e3/e5 + a 卡, 我成功过多次,均使用过一段时间。
    比如
    3770 / 4790 / e3 1230v2 / e3 1230 v3 / 2620v2 / 2650 / 2660 / 2670 +
    asus 的 b85 ,
    asrock 的 z77 ,
    gigabyte 的 b75 ,
    asrock E3C224D4I-14S ,
    asus z9pa-d8,
    asus-P9D-MV 。。。
    --------------------------
    amd
    HD7570 (HP OEM 渣渣),
    HD7750 ,
    R7770,
    R7 250E,
    以上三屏 ok ,主流网游 ok
    R5 230, (貌似比核显略强,至少双屏 ok , dota ok )
    R9-270(这个配合 z77 ,似乎卡 pcie 带宽的感觉, HDMI 音频和画面在游戏时会卡住)
    ---------------------------
    n 卡坑 die ,功能阉割, AMD 大法好。
    woyaojizhu8
        8
    woyaojizhu8  
    OP
       2016-07-19 22:13:22 +08:00
    @CupTools kvm=off 是指关掉 kvm ,纯粹用 qemu 模拟?这样性能不会很差吗?还是说只是针对英伟达驱动的一种伪装,实际没有关掉 kvm ,不会有性能影响?
    另外,为什么最好是像 c236 这样的服务器芯片组呢? z87 这样的芯片组有什么额外的问题呢? ACS 的话, e3 本来就不支持的;而 VGA i915 的话,虽然我没看懂它具体是做什么的,但好像跟 intel 核显有关,而我考虑的 cpu 型号都是不带核显的
    woyaojizhu8
        9
    woyaojizhu8  
    OP
       2016-07-19 22:25:19 +08:00
    @Siril 因为从前用 a 卡时被蓝屏和内部错误折磨得痛苦不堪,所以不到万不得已不想考虑 a 卡
    woyaojizhu8
        10
    woyaojizhu8  
    OP
       2016-07-19 22:26:16 +08:00
    @fzinfz 那有没有一个包含 n 卡的兼容显卡列表呢?
    fzinfz
        11
    fzinfz  
       2016-07-19 23:08:03 +08:00
    @woyaojizhu8 官方的兼容卡太贵我没有测试,测了 3 张都会 PCI bus error 就放弃了。而且兼容显卡列表并不一定指一定兼容 VT-D passthrough 。

    考虑 Xen 的话可以参考下这个链接:
    https://en.wikipedia.org/wiki/List_of_IOMMU-supporting_hardware#Nvidia
    CupTools
        12
    CupTools  
       2016-07-20 04:49:00 +08:00
    @woyaojizhu8

    kvm=off 不代表关掉 kvm 加速,只是隐藏 kvm 的 flag 。旧的 n 卡驱动 kvm=off 就够了,但是新的驱动需要改 vendor_id

    服务器板对 IOMMU 支持会更好, rule of thumb 。一般的芯片你可以自己试试。
    AILion
        13
    AILion  
       2016-07-20 08:47:20 +08:00
    这道题我会做(举手)

    根据题目中“虚拟机图形性能不够”、“双显卡”,我理解成你是要自己日常使用包括玩游戏,而不是拿来做服务器的

    KVM
    优点:显卡支持还可以
    缺点挺多的:你需要长期运行一个臃肿的底层系统比如说 Ubuntu ,你对底层系统的更新、升级、意外操作都可能让整个架构崩溃。重启底层系统意味着完全关机。除非你用 SSH 等 CUI 方式连接到底层系统,否则你可用的虚拟机数量=显卡数量-1

    推荐使用 VMware ESXi
    优点:底层系统非常小性能损失低、虚拟机数量=显卡数量、定位就是虚拟机,功能非常完善、虚拟机玩大型游戏杠杠的
    缺点:日常使用支持部分 A 卡。 N 卡除了超高端系列都会报 53 错误无法驱动。

    赠送 Google 关键词: one cpu x gamers , x=>2~7
    woyaojizhu8
        14
    woyaojizhu8  
    OP
       2016-07-20 19:08:41 +08:00
    @AILion 我选择 kvm 一个原因是它支持 n 卡(虽然也被英伟达封杀但没有 vsphere 上那么彻底),但更重要正是因为它需要运行一个底层系统。如果我选择 vsphere ,只能通过远程操控,在操作上感觉跟配了多台电脑没什么区别,无法灵活切换。
    woyaojizhu8
        15
    woyaojizhu8  
    OP
       2016-07-20 22:33:21 +08:00
    @CupTools
    @AILion
    @Siril 是不是直通显卡的话,只能另外接一个显示器,而不能将虚拟机画面显示在主机屏幕上的一个窗口里?
    AILion
        16
    AILion  
       2016-07-21 01:00:53 +08:00
    @woyaojizhu8 显卡直通的意思就是 GPU 独占,当然必须是独立的显卡+独立的显示器
    Azus
        17
    Azus  
       2016-07-21 16:22:18 +08:00
    @woyaojizhu8
    配新系统,如果是我就咬牙上 e5, acs patch 不会被正式内核接受,毕竟作者也不确定是否会对系统造成损害
    将来的内核升级都得手工打 patch, 哪天不能用了或出什么古怪问题也不确定
    e3 v3 + z87, z87 不支持 ecc 内存. 不考虑 ecc 内存,不如上 LGA 2011 接口的 i7, 可以支持 ACS
    e3 v5 + c236, 既然放弃原生 ACS 支持,当然需要考虑增加 iGVT-g 支持了,还是选带核显的 U 好
    ssd m6s 不带断电保护,选 ssd 可参考下 http://open-zfs.org/wiki/Hardware#Power_Failure_Protection
    显卡先别买,用手头的老卡先练手,老卡一般也比新卡碰到的问题少
    如果手头有老机器适合练手,先用老机器走通流程, 把概念摸清

    @AILion
    "对底层系统的更新、升级、意外操作都可能让整个架构崩溃。重启底层系统意味着完全关机。" 这句话不管是对 ESXi 或 Xen, 都适用. 底层系统只装虚拟相关软件,能有多臃肿. 而且长期运行的项目适合丢到容器里,总比下面再多一层 ESXi 或 Xen 性能更好.
    woyaojizhu8
        18
    woyaojizhu8  
    OP
       2016-07-22 22:39:32 +08:00
    @CupTools
    @Azus
    @Siril xeon e5 1620 v3 (淘宝拆机货)+ 华擎 x99 极限玩家 3 +三星 16gx2 ddr4 2133p recc 内存这个组合怎么样?这个支持 acs 而且价格相对便宜(大约 4000 )
    CupTools
        19
    CupTools  
       2016-07-23 03:00:59 +08:00 via Android
    @woyaojizhu8 这道题我不会做 玩的都是 Xeon D
    Azus
        20
    Azus  
       2016-07-23 20:00:10 +08:00
    @woyaojizhu8 私以为这样搭配可以接受
    mlyy
        21
    mlyy  
       2016-08-02 07:46:30 +08:00
    报个 dp.2014mid 15rmbp 低配外接 gtx 970 成功。 linux-vfio-lts 内核。唯一问题是磁盘写入性能非常差劲。 unigine heaven 跑分,原生 windows or linux 都是 1500,pci 直通 1400.
    cck
        22
    cck  
       2017-06-07 01:32:26 +08:00
    @Siril esxi 直通给的虚拟机关机的时候,显卡的功耗是怎样的,最大功耗还是最小功耗?从别的地方看到说 esxi 没有显卡驱动所以最大功耗。不同的显卡是不是情况也不同?能否推荐个在功耗上兼容比较好的显卡。
    另外,能否从这些显卡里面推荐一个性能还可以的目前还能买到的显卡。
    非常感谢。
    Siril
        23
    Siril  
       2017-06-10 12:05:49 +08:00 via iPhone
    @cck 这个不清楚; 因为没有 esxi 开机而直通的 vm 关机的必要啊。从显卡风扇狂转推测是最大功耗,这个不太确定... vm 开机后恢复正常。

    我试过的最新的是 hd7750,hd7770,R7 250,R5 230。我认为目前最新的 amd 中低端显卡应该都行

    高端显卡似乎直通容易出问题
    jyf007
        24
    jyf007  
       2018-02-06 17:24:32 +08:00
    @AILion 能不能配置一个串口终端代替显示器呢?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     878 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 21:01 PVG 05:01 LAX 14:01 JFK 17:01
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86