V2EX WuSiYu 的所有回复 第 1 页 / 共 37 页
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX    WuSiYu    全部回复第 1 页 / 共 37 页
回复总数  740
1  2  3  4  5  6  7  8  9  10 ... 37  
2 月 22 日
回复了 seafog 创建的主题 强迫症 活不下去了。
你这大概率病理性的精神疾病,精神科开点药就行了,不要觉得有啥不好的,大脑神经出问题跟别的器官出问题要吃药一个道理
不错啊,收藏了
搞个几十块的 7015TV3 就行,2.5G 猫,破解好的,telnet 进去 mac 啥的随便改,改成跟旧的一致,插上去就能用
难绷楼上几乎没一个在讨论技术的。。。
搜了一下文章: https://kaitchup.substack.com/p/taalas-hc1-absurdly-fast-per-user

确实是相当 fancy 的一个工作,直接将权重固化成了物理电路,不是“推理任务 ASIC”而是“特定模型的 ASIC”。效果自然是单请求 decode 速度力大砖飞,完全没有 memory wall ,吊打一切 HBM 甚至是 SRAM/存算的工作,也吊打一切投机推理和 dLLM 。

但代价也很明显:为了塞下一个 3bit 8b 的权重,die size 达到了 815mm ( TSMC N6 ),要知道 4090 才 600+mm ( N5 ),塞下更大模型成本很高。另外并发能力和最大上下文长度未知,可能就只有单并发能力和几千 token 量级,毕竟看起来全靠 sram:

https://substackcdn.com/image/fetch/$s_!I1yU!,w_1456,c_limit,f_webp,q_auto:good,fl_progressive:steep/https%3A%2F%2Fsubstack-post-media.s3.amazonaws.com%2Fpublic%2Fimages%2F45cfa22a-ce4b-4704-9aed-ba7a4214c656_612x408.png

评价是科技与狠活,作为学术工作的话非常 fancy ,作为商业用途的话需要找到合适场景,毕竟这么小的模型比较唐是正常的,但这推理速度能干很多之前 LLM 因为实时性没法干的事
首发就有的通病,我就遇到了,当时换新后就无问题了
2 月 17 日
回复了 mangmaimu 创建的主题 iPhone magsafe 外置电池能减少电池循环吗
更可能因为更热反而折寿
2 月 17 日
回复了 ggp1ot2 创建的主题 投资 看着智谱和 minimax 翻倍,心情很复杂
正常了,我一个做 infra 的,看着之前寒武纪涨成那样也很难绷
直连流量走核心了吧,硬件加速没了
软路由吗?
先问宽带师傅,不行就上咸鱼找破解,还不行就花几十块闲鱼买个破解好的猫
功能说不定比 unifi 还更适合国内,不过鉴于其“优秀历史”并不是很想用
2 月 13 日
回复了 feunterban 创建的主题 宽带症候群 论家宽建站的可行性?
运营商有 dpi 的话能看到你的跑了 http/https 服务
不为了钱还能为啥。。。家宽、商宽费用不对等的必然结果呗,一切都是为了高价的商宽有人买
2 月 10 日回复了 fiht 创建的主题 随想 你愿不愿意打开引擎盖?
对于搞 LLM 算法或者 infra 的 1 那些都属于常识,但对于普通 LLM 用户而言知道个 sampling 就够了,毕竟 DNN 的可解释性一直就不强,知道 softmax(Q @ K^T / sqrt(d_k)) @ V 也不会对使用技巧有太多帮助
2 月 10 日
回复了 fengwq 创建的主题 NVIDIA 4090 置换 5090,我花了 2400
差不多,我 4090 1.85w 卖的,当时 2.1w 换的 5090
2 月 9 日
回复了 shenjialun 创建的主题 iPhone 国行能否使用 6Ghz
用起来很折腾吧
2 月 8 日
回复了 wshjdx 创建的主题 宽带症候群 求推荐家用硬件防火墙
“防火墙”概念太宽泛了,iptables 、DPI 流量检测、IDS/IPS 、WAF 都是不同的东西,后面几种的特征库基本都是要钱的
另外我在用的 unifi ucg fiber 网关自带免费的 DPI 和 IDS/IPS ,但我感觉图一乐,平时也就帮你拦截一些脏 ip
很难的啦.jpg
跑 LLM 又不像 Web 后端那么简单,LLM 一个请求在输出结束前 kv cache 都要驻留在显存里,一个 8 卡服务器只能顶个几百到几千并发。再加上 LLM 服务冷启动慢(分钟级),动态扩容响应速度也不快。再加上现在 LLM infra 搞的很复杂,又是 PD 分离又是全局多级 kv cache 缓存,一个大 EP 实例横跨几百卡,failover 的工作却不多,一崩炸一片
1  2  3  4  5  6  7  8  9  10 ... 37  
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3829 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 51ms UTC 05:11 PVG 13:11 LAX 22:11 JFK 01:11
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86