宅家 train 模型机器选择方案咨询 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
aljun
V2EX    程序员

宅家 train 模型机器选择方案咨询

  •  1
     
  •   aljun 2021-01-31 21:58:34 +08:00 2930 次点击
    这是一个创建于 1793 天前的主题,其中的信息可能已经有所发展或是发生改变。

    楼主之前一直用的 G 家的 Colab 和自己的云主机 train 一些简单的模型以及 Kaggle 的比赛,一直想用自己机器去做一些事情,奈何现在主力机是一台老旧的 Mac (还未换 M1,不过也即将退休,换一台新的),现在想请教一下 v 站各位大佬们,如果只是 train 一些经典的模型或者做一些 Kaggle 或天池的比赛的话有什么推荐的方案呢?能想到的:

    • 换 M1 的 Mac ( M1 虽然据说 GPU 也很劲爆,但新 mac 据说无法外置显卡,之后自己折腾的途径也没了)
    • 外置显卡,这个一直有考虑,但是怕吃灰严重
      • 显卡选什么呢?(下面 win 机同问题)
    • 继续 G 家 Colab,但是存储和 IO 真的比较坑。。。
    • 滴滴云等国内还比较性价比的云主机
    • 换 Win 电脑直接上卡

    主要场景 是复现模型,以及跑一些公开数据的比赛 平时也是上班 996 党,主要是晚上回来和周末时跑着学习使用

    想问问各位过来人意见以及踩过的坑

    12 条回复    2021-02-01 18:31:37 +08:00
    lazydog
        1
    lazydog  
       2021-01-31 22:00:15 +08:00 via Android
    知乎看稚辉君的方案啊!
    aljun
        2
    aljun  
    OP
       2021-01-31 23:33:37 +08:00
    @lazydog 貌似没找到。。。B 站也没找到
    blues9
        3
    blues9  
       2021-01-31 23:50:30 +08:00
    还是用各种云主机吧,买硬件的钱足够这个需求了
    Puteulanus
        4
    Puteulanus  
       2021-01-31 23:58:37 +08:00
    云主机之前用过 Paperspace,感觉还行,现在好像向机器学习这方面特化了很多功能
    https://www.paperspace.com/
    lithiumii
        5
    lithiumii  
       2021-02-01 00:05:00 +08:00
    现在显卡都不便宜,挖矿潮过去之后也许 12G 的 3060 会是(穷人)自己家里玩模型的合适选择。一定要现在买的话,不差钱直接 3090 吧
    DoctorCat
        6
    DoctorCat  
       2021-02-01 00:06:09 +08:00
    tb 上找远程电脑出租,性能可以的。
    szxczyc
        7
    szxczyc  
       2021-02-01 00:35:32 +08:00   1
    配个 3080 的主机,放家里装 ubuntu 就可以了,不需要显示器。配置一下端口外网访问即可,想训练的时候 ssh 登录一下。训练的结果自动保存并推送进度,每隔一段时间用 sever 酱推送一下服务器情况。
    M1 再劲爆也不能 train 一些大的模型呀,NLP 和 CV 的大 bs 就爆显存了,现在的模型越来越大了,一张 30 系显卡还是比较需要的,再说平常打打 LOL 他不香嘛?
    M1 可以暂时不买,真不推荐拿来训练模型。这钱买个服务器靠谱!
    PS:大显存多跑几组实验调参还是挺好用的。
    Puteulanus
        8
    Puteulanus  
       2021-02-01 03:48:20 +08:00
    看了下,Paperspace 现在支持竞价实例了

    https://imgur.com/M5rxZQd
    dartabe
        9
    dartabe  
       2021-02-01 04:02:09 +08:00
    M1 貌似最近新出的 tensor flow 支持 CPU + GPU hybrid 方案据说性能还可以 你可以看看

    还有亚马逊 AWS 也提供计算服务 不知道如何
    F281M6Dh8DXpD1g2
        10
    F281M6Dh8DXpD1g2  
       2021-02-01 07:12:42 +08:00
    @szxczyc 3080 那点显存也不够看的,3090 勉强够用
    lazydog
        11
    lazydog  
       2021-02-01 17:52:47 +08:00 via Android
    @aljun 你搜这个: [保姆级教程] 个人深度学习工作站配置指南 稚晖
    owenliang
        12
    owenliang  
       2021-02-01 18:31:37 +08:00
    买台电脑就行吧,啥数据规模还需要考虑这么多
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     909 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 22:36 PVG 06:36 LAX 14:36 JFK 17:36
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86