马上临近找工作了,看 Java 岗的都是杀的腥风血雨,虽然组里不放实习,但是也是很有危机感。
做移动计算方向,后面可能会试试手机厂和国央企。无奈 LLM 太火,感觉没个大模型项目都不够看的。
想配带一台大显存 N 卡的主机学学大模型相关知识,给后续找工作拓宽一下项目历
自己设计了一套配置,求 V 友们给点修改建议(现在显卡是真贵啊)
![]() | 1 infreboot 191 天前 via iPhone 你这是打游戏配置。。建议直接买云计算便宜的起飞。。。 |
2 lneoi 191 天前 推荐个其他方案, 去算力平台租一台先用,快而且不贵 如果刚开始用不到多少算力的,上 Google Colaboratory |
![]() | 3 liu731 PRO Ollama 先跑个 3B 8B 的 |
4 444571840 191 天前 买 9600x 还不如买 7700 散片,便宜还量大。 RTX4060ti 16G 可以考虑换 2080ti 22G 魔改版,但要找到靠谱的厂商,比如之前的撼影彩盒 3 年保,但好像现在没了。 内存可以考虑往大里买。 |
5 mumbler 191 天前 跑大模型,最重要的是显存,显存,显存,其他都可以低配 2080ti 魔改 22G 是性价比最高选择 |
6 renmu 191 天前 via Android 你不会只是想新配一个电脑吧(笑 |
![]() | 7 nxforce 191 天前 相信我,最终都会沦为打游戏的专用机的,我就是用理由换了 2 次 PC 了。 |
![]() | 8 limatrix81 OP @renmu 可恶,居然被你识破了 |
![]() | 9 limatrix81 OP @Stevenv 主要是怕到时候秋招面试官项目拷打,没亲自本地跑过直接露馅了 |
![]() | 10 limatrix81 OP @lneoi 哦哦哦哦,Colab 之前用过,但是好像最长使用一天就把资源释放了? |
![]() | 11 limatrix81 OP @444571840 牛逼,还有这种卡,我去瞅瞅去 |
![]() | 12 limatrix81 OP @mumbler 对对,我就是想着弄个大显存的,等毕业直接一卖换 AMD 游戏卡,然后其他配置就不用动了 |
13 tool3d 191 天前 ![]() |
14 ggBalloon 191 天前 |
![]() | 15 sunfly 191 天前 不如研究直接调 API |
16 queziaa 191 天前 没用,就算 16G 将将够跑一些东西,这算力也很慢,大量跑或者训练很难受。调用买额度,训练租卡 |
17 queziaa 191 天前 学习蹭谷歌 |
![]() | 18 WasteNya 191 天前 via Android 够用,但前提是微调或部署最好量化,不然跑不动 |
19 follow 190 天前 intel 最新 cpu ,似乎也是统一内存, 跑大模型,是否也可以? |
![]() | 20 limatrix81 OP @tool3d 懂了老哥,专业的 |
![]() | 21 limatrix81 OP @ggBalloon 已经有个 mac 了,主要吧,再配一台电脑得兼顾一下打游戏啊[旺柴] |
![]() | 22 coefu 189 天前 @limatrix81 专业个屁,Intel 的显卡都推荐,这是坑你呢。搞学习当然用 N 卡,Intel 的显卡起起伏伏就是个幌子,现在 cpu 都搞不好了,还兼顾个毛的 gpu ,之前多少 gpu 都是孤版,买了之后当 2 手都出不去。N 卡目前最合适的就 2080ti 22g ,弄 2 张搞个 NVLink ,既可以做学习用,也可以打游戏。你把 板 U 降一点成本,把内存搞多点。 |
![]() | 23 limatrix81 OP @coefuqin 老哥我看网上有卖这种扩容卡的,有 2080ti 22G 和 3080 20G ,这种卡稳定性应该还可以吧?我看淘宝上他们都说用的还可以,就是涡扇卡有点吵 |
24 tool3d 189 天前 @coefuqin 别小看 I 卡,现在 llm 大模型那么火,仅仅跑大模型的话,intel 开源优化已经够好了。你可以去 B 站查一下具体性能,tokens 速度很快。(搜索双卡 intel 就可以) N 卡优势在于 cuda 通用性,和游戏 DLSS 之类的。但楼主说了,主要就是跑 LLM 模型。 |
25 tool3d 189 天前 "等 5060ti 发布之后买 4060ti (不晓得 50 系发布 40 系会不会降价)" 我个人感觉不太会降价,至少今年内是这样的,AI 实在太火了。 |
![]() | 26 coefu 188 天前 @limatrix81 既要又要还要是很难满足的,稳定性怎么样我也不清楚,要自己用过才知。散热可以改。 |
![]() | 27 coefu 188 天前 @tool3d Intel 的 gpu 三起三伏,这次一样会伏。你真的了解 Intel ,就不会说小看 Intel 的 gpu 之类的,Intel 能保住 cpu 的市场占有率都是烧高香。 |
![]() | 28 coefu 188 天前 讲真,我都不好意思给你推荐真正 hack 属性的套装,怕你玩不转。我从海鲜市场里凑了一台 6 卡平台,改风扇散热,改电源风扇风噪,改显卡散热,整个价格只有你这个三分之二,双路 28core ,192g ,1t ssd+3t 机械,120g vram 。为了适配 llm ,hack ollama 的代码重新编译。 |