国产 AI 推理服务器的适配难易程度问题 - V2EX
请不要在回答技术问题时复制粘贴 AI 生成的内容
dododada

国产 AI 推理服务器的适配难易程度问题

  •  
  •   dododada Apr 22, 2024 3329 views
    This topic created in 751 days ago, the information mentioned may be changed or developed.

    上文: https://v2ex.com/t/1032607#reply7

    鲲鹏 920 * 2/ 512G 内存/20T 固态 / 腾 Atlas 300I Pro 24GB * 4 的价格 30W+

    海光 7360 * 2 / 512G 内存 / 20T 固态 / 寒武纪 MLU370-S4 24GB * 4 价格 17W+

    另外就是机箱、电源、光模块、网卡之类的了。

    我们用到的模型就是这些:

    Yolov8 目标识别 Opencv ocr scrfd partial_fc yolov8-seg

    经过痛苦的对比和问价,现在决定采购,领导让评估一下算法移植需要的时间。

    苦于团队没有做过国产适配,没有经验。

    来问问有没有兄弟做过适配的,这些算法做完适配大概要多久

    20 replies    2024-04-25 11:29:27 +08:00
    dododada
        1
    dododada  
    OP
       Apr 22, 2024
    还有兄弟做过的啊
    clemente
        2
    clemente  
       Apr 22, 2024
    适配都是 AI 芯片厂商帮你们适配啊 你们负责验收
    dododada
        3
    dododada  
    OP
       Apr 22, 2024
    @clemente 怎么可能,设备都是从渠道商采购,又不是直接从华为寒武纪零买,零买的价格也不是这样子啊
    forblackking
        4
    forblackking  
       Apr 22, 2024   1
    搞的不多给不了经验,一年多前参与过 OCR 适配腾 NPU ,当时评估是一个半月的适配时间,最后时间翻了好几倍且耗时与精度都劣化不少。最大的感触与上个帖子 5L 说的一样,适配的难易度取决于哪一家的工程师愿意配合你解决问题,当时由于甲方是政府部门最后拉了个微信群推动,不然就老老实实提 issue 等回复。
    kwater
        5
    kwater  
       Apr 22, 2024
    1 硬件
    2 软件
    3 系统集成商

    你们想自己做 3 ,或者想省下 3 的钱。

    对性能没需求,只求有这套东西,不会真的应用上线,开箱即用问题可能不大,
    但性能微调,怎么也要个 team 吧
    huigeer
        6
    huigeer  
       Apr 22, 2024
    所以直接买 nv 还是不行?
    aeron
        7
    aeron  
       Apr 22, 2024
    @huigeer 国内现在国企央企在搞国产化,基本都不采购 nv 了
    mirrorman
        8
    mirrorman  
       Apr 22, 2024
    @forblackking 推理适配都这么麻烦吗?推理一般就是几个算子适配,相对于训练来说很单一
    forblackking
        9
    forblackking  
       Apr 22, 2024 via Android
    @mirrorman 大概率是适配的比较早的原因文档和样例不全,踩了各种模型转换和 Pipeline 的坑,最搞的是文档上有的功能不能复现一问才知道是在内部开发版驱动里没正式发版。。。
    dododada
        10
    dododada  
    OP
       Apr 23, 2024
    @forblackking 这么烦的么
    dododada
        11
    dododada  
    OP
       Apr 23, 2024
    @kwater 现在的算法团队只做过腾的调研,时间很短
    dododada
        12
    dododada  
    OP
       Apr 23, 2024
    @huigeer 不行啊,很多工厂都开始国产化了
    dododada
        13
    dododada  
    OP
       Apr 23, 2024
    @kwater 对性能有要求,要求还不低。。。
    hgert
        14
    hgert  
       Apr 23, 2024
    找国产 ai 推理卡厂商评估报价吧 省事 让领导出点血就行
    twosix
        15
    twosix  
       Apr 23, 2024
    @forblackking 确实我们也遇到过,也是拉着华为的工程师一路查一路修,倒是弄好了之后还挺稳定..不过有几个问题反馈了一直也没修复..直到之后版本都不维护了
    dododada
        16
    dododada  
    OP
       Apr 23, 2024
    @hgert 报价不是有么,一个 30W+, 一个 17W+
    waringid
        17
    waringid  
       Apr 23, 2024
    鲲鹏的 CPU 是 arm 架构,海光用的是 X86 。涉及算法移植 海光的架构理论上比鲲鹏的要容易
    dododada
        18
    dododada  
    OP
       Apr 23, 2024
    @waringid 海光自己也有 gpu ,基于 amd 的,据说可以无缝移植,但是性能实在是拉跨,而且最新款的也没见到哪个供应商有货
    dododada
        19
    dododada  
    OP
       Apr 23, 2024
    还有个问题,现在两张 4090 ,

    华为官网展示腾 Atlas 300I Pro 24GB 的算力是 140 TOPS INT8 ,70 TFLOPS FP16

    这个大概要几张才能顶的上 4090 的算力呢?

    如果用英伟达的 T4, P4 什么的,我们有对标的产品,能评估出来,这个国产算力没法儿弄了
    trungdieu031
        20
    trungdieu031  
       Apr 25, 2024
    建议如果不是强制必须用国产的话,还是上英伟达的卡好点。腾 上适配模型会让你适配到怀疑人生,尤其是项目交付有固定期限的情况下...
    About     Help     Advertise     Blog     API     FAQ     Solana     1175 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSIO: 3.9.8.5 47ms UTC 23:29 PVG 07:29 LAX 16:29 JFK 19:29
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86