V2EX coefu
coefu

coefu

V2EX member #616381, joined on 2023-02-28 17:15:35 +08:00
Today's activity rank 6633
Per coefu's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
coefu's recent replies
@Nidhoggur 母鸡,我也没这资源跑过这种大模型啊。
@davidyin #33 真正的行家来告诉你,2000$的方案。

amd epyc 单路 9004 12 通道 ddr5 主板,目前大概 4000 。12 通道全插满 4800 MT/s DDR5 内存时,12 个通道的总带宽约为 500GB/s 以上。使用更高频率(如 6400 MT/s )的内存时,理论总带宽可达到约 614 GB/s 。几乎摸到了 hbm2 的边。关键是容量可伸缩。

ddr5 6400 16G 目前单条价格大概 700*12 ,8400

amd epyc 9124 cpu 目前大概 4000

总成本正好 2000$ 左右。

此时,你有 192G 内存( Qwen3.5-122B-A10B ,这种都能跑),带宽 500 ~ 614G 左右,500G 的带宽足够让你跑 MOE ,20 ~ 25 token/s ,再加一块几百块的 16G hbm2 gpu ,完全够。
你这么搞的适得其反,你这个也不是大家刚需的非 GA 不可,大把竞品。你逞一时嘴快,网上嘴炮赢了别人又如何?但是你这个项目,因为你盛气凌人的态度,把看法由你而引申到你的 GA ,恰恰起了反作用。本来中立的人,也会考虑考虑了。

别人蛐蛐你,你当然可以反击,如果只是生活区为了某个点嘴炮,输赢都是无所谓的。你带着目的来,这就不同了,你赢了输了,都和你宣传的 GA 隐性的关联上了。

我看了你的这些推广,没有去 GitHub 点 star ,也没有用 GA ,就不是智力正常的人了?

@h4nru1 #66
@h4nru1 #22 这么狂?还好只是 top3 ,你要是 top2 ,那岂不是你现在导师都入不了你的眼了。
@shum02 #7 你自己想的很明白了,还要别人给你出歪点子让你动摇?看你性格,想来别人的建议你也是不会接受的。二十啷当岁,就是试错的时候,没必要瞻前顾后,该怎么样,会怎么样,命中自有定数的。
活在自我臆想里的堂吉柯德。
我选 amd ,内存带宽都有。只是没钱买,有钱也买不到。
上了年纪就是这样,有怀旧情结了。谷歌地球最早可以到 2002 年的长沙,可能是湖南省最早的了。地级市大概在 2013 ~ 2014 最早。
@diudiuu #8 太 tm 悲催了,我因为用错了电源线,把 amd mi50 的 hbm2 显存给烧了。以后坚决不买这种小众的东西了,电源线都找不到。还得是一分钱一分货。内存差价这种钱,果然还是赚不得。
@KaiWuBOSS #23 甚至是异构模型,也是可以的,只是中间要搞转换。转换的这个事情,可能更简单一点。
About     Help     Advertise     Blog     API     FAQ     Solana     1027 Online   Highest 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 16ms UTC 22:13 PVG 06:13 LAX 15:13 JFK 18:13
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86