V2EX rmrf
$V2EX
Solana
Give SOL to Copy Address
使用 SOL 向 rmrf 打赏,数额会 100% 进入 rmrf 的钱包。
 rmrf's recent timeline updates
rmrf

rmrf

V2EX member #62533, joined on 2014-05-13 11:15:57 +08:00
Today's activity rank 26202
rmrf's recent replies
@lilGO 哈哈哈,这个这个时候才能看懂的笑话。
@likooo125802023 韩国卖内存颗粒的厂商赚翻了
火山和阿里云都买了,火山多一天,是 29 天 [哈哈]
很赞! 我研究一下。

但是 https://timem.ai/ 网站证书不太对,打开之后浏览器会告警,建议更新一下
不过现在想想,能早点儿换,总比后面再换的好。
@hopeofsteadylife 。。。其实我这里 db 就是简单的 数据库 (database) 的意思,就是:比数据库检索数据还快。
@Geon97 还在替换代码,估计要更久了
@restkhz 是的,非常赞同,这个技术绝对是 2026 年非常非常有重量的,非常有想象力的做法。

想想一下,那些对速度有非常高要求的垂直场景:高速行驶的汽车、具身机器人的大脑的部分功能(或者小脑)

另外据我了解,中国的公司因为 llm 训练 gpu 技术不行,其实一直都在押宝 ASIC 芯片路线的。
今天看到 https://www.anuragk.com/blog/posts/Taalas.html 这里讲的:技术原理

1. 固定功能 ASIC 架构
Taalas 的芯片是一种固定功能 ASIC (专用集成电路),类似于 CD-ROM 、游戏卡带或印刷书籍只能运行一个特定模型,无法重写。
他们将 Llama 3.1 的 32 层网络结构直接蚀刻到硅片上,模型权重成为物理晶体管,而非存储在内存中的数据。

2. 突破"内存墙"
传统 GPU 的瓶颈:GPU 需要从 VRAM/HBM 反复读取每一层的权重矩阵,进行计算后将中间结果存回内存。这种频繁的内存读写造成延迟和能耗(即"内存墙"或冯诺依曼瓶颈)。
Taalas 的方案:输入向量直接流入第一层物理晶体管,通过他们发明的"魔法乘法器"(单个晶体管实现 4-bit 数据存储和乘法运算),电信号通过物理导线直接流入第二层,依此类推,直到生成最终 token 。无需外部内存来回搬运数据。

3. 芯片制造策略
他们设计了带有大规模通用逻辑门和晶体管网格的基础芯片。
针对特定模型,只需定制最上面的两层光罩即可,无需从头制造芯片。
为 Llama 3.1 8B 开发专用芯片仅用了 2 个月在 AI 领域虽显漫长,但在定制芯片领域已属极快。

4. 内存使用
不使用外部 DRAM/HBM ,但包含少量片上 SRAM:
存储 KV Cache (对话的上下文窗口)
支持 LoRA 适配器进行微调
@catazshadow 这才开始,后面慢慢优化起来,很有想象力啊。
About     Help     Advertise     Blog     API     FAQ     Solana     2650 Online   Highest 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 27ms UTC 12:47 PVG 20:47 LAX 05:47 JFK 08:47
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86