最便宜的得到 32G 显存的方式是什么? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
frankyzf

最便宜的得到 32G 显存的方式是什么?

  •  
  •   frankyzf 2023 年 11 月 5 日 4835 次点击
    这是一个创建于 901 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如果跑大模型,对显存的大小有要求。另外如果是 windows 下需要 Nvidia 的显卡。先谢谢了。自己知道的有配台 Windows 台式机或 Mac Mini ,不知道还有没有其他方式。

    16 条回复    2023-11-06 15:20:07 +08:00
    kindjeff
        1
    kindjeff  
       2023 年 11 月 5 日   2
    emmm 或许是 intel 核显跑 pytorch 吧,然后插 32 G 内存条
    kidlj
        2
    kidlj  
       2023 年 11 月 5 日
    找一个大模型算法工程师的工作 :doge:
    FlashEcho
        3
    FlashEcho  
       2023 年 11 月 5 日
    在 GPU 云(比如 autodl )上租个 A100 ,因为看上去不是专业用途,个人用户自己玩玩的话,还是租比较合算,A100 大概每小时 6 块钱
    担心不会用浪费时长,可以去 paperspace 买个包月会员
    RiESA
        4
    RiESA  
       2023 年 11 月 5 日
    个人玩的话,感觉目前最划算还是魔改的 2080 22G 的版本,才两千多 但是达不到 OP 说的 32G
    cwyalpha
        5
    cwyalpha  
       2023 年 11 月 5 日 via iPhone   1
    4060ti 16g 2
    1KTN90lKW9gVJ9vX
        6
    1KTN90lKW9gVJ9vX  
       2023 年 11 月 5 日 via iPhone
    把内存分配给显存用、弄个 512g 显存
    em70
        7
    em70  
       2023 年 11 月 5 日
    阿里云已经停售 A100 了,现在 32G 显存最便宜的方法是买 macbook m1 max 32G,京东大概 2 万左右,比买 4090 划算
    yummysakko
        8
    yummysakko  
       2023 年 11 月 5 日
    sxm2 的 V100 吧
    icyalala
        9
    icyalala  
       2023 年 11 月 5 日
    本地跑的话,Mac Studio 64GB 内存,RTX8000 48G 显存,都是两万上下?
    paopjian
        10
    paopjian  
       2023 年 11 月 5 日   1
    超过 24g 就不存在游戏卡了,大模型训练都是多路计算卡,楼上 RTX8000 也算实惠的了,或者 3.7w 的 A100 40G
    我觉得你如果还不清楚自己的需求话不如先租服务器试一下?
    modestdeveloper
        11
    modestdeveloper  
       2023 年 11 月 5 日   1
    不考虑速度的情况下,mac 确实是一个性价比之选
    lithiumii
        12
    lithiumii  
       2023 年 11 月 5 日 via Android
    能多卡的话就买老卡呗
    bihui
        13
    bihui  
       2023 年 11 月 5 日
    4060 16g 不够用吗?
    netabare
        14
    netabare  
       2023 年 11 月 6 日   1
    如果不限定操作系统的话,MacBook 好像不错
    frankyzf
        15
    frankyzf  
    OP
       2023 年 11 月 6 日
    谢谢大家回复。 @bihui 只是看到文章里提到 13b 的需要 32g ,所以先问下。因为没有实践过,所以不确定实际的效果。
    sketcherly
        16
    sketcherly  
       2023 年 11 月 6 日
    如果只是玩的话可以找一些租显卡的服务,可以看下我之前用过的这个,为了避免广告嫌疑 base64 aHR0cHM6Ly9tYXRwb29sLmNvbS8K ,或者顺着这个思路找个同类产品
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5301 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 86ms UTC 07:21 PVG 15:21 LAX 00:21 JFK 03:21
    Do have faith in what you're doing.
    ubaomsnsnddmindexpchomeyahoorakutenmypapermeadowduckbidyahooyoubaozxmzxmasdabnvcgcvbfgdfscvmmhjkxxddcyybgbzznbnccubaouaituacvGXCVETGDGYHFGBCVBFJFHCBRECBCGDGET54WRWRRWERWREWWRWERRWERSDGEWSFDSFSFfbbsubaofhddfgewrdgdfewwrewwretruyutututdfgfgdgdfgtetgdfgtdfgdert4gdfggwr235wer3wevsdfsdfgdfertxcvsdfrwerhfddfgcvbrwfafbdfhjghbmnlghrtygfdscxvxcvxcsvdasfdffgdcvsdftertsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfsdfshasha9178shasha9178shasha9178shasha9178shasha9178liflif2liflif2liflif2liflif2liflif2liblib3liblib3liblib3liblib3liblib3zhazha444zhazha444zhazha444zhazha444zhazha444dende5dendedendendenden2denden21fenfen9fenf619fen619fenfe9fe619sdfsdfsdfsdfsdfzhazh90zhazh0zhaa50zha90zh590zhozhozzhozhzhozhozhozho2lislislls95lili95lils5liss9sdf0ty987sdft876sdft9876sdf09876sd0t9876sdf0ty98sdf0976sdf0ty986sdf0ty96sdf0t76sdf0876df0ty98sf0t876sd0ty76sdy76sdf76sdf0t76sdf0ty9sdf0ty98sdf0ty987sdf0ty98sdf6676sdf876sd876sd876sdf6sdf6sdf9876sdf0tsdf06sdf0ty9776sdf0ty9776sdf0ty76sdf8876sdf0tsd6sdf06s688876sd688sdf86