V2EX CraftDeadMRC
 CraftDeadMRC 最近的时间轴更新
CraftDeadMRC

CraftDeadMRC

V2EX 第 646554 号会员,加入于 2023-09-01 14:25:08 +08:00
CraftDeadMRC 最近回复了
2025 年 12 月 23 日
回复了 microscopec 创建的主题 Local LLM 目前开源可以本地部署的模型有哪些?
@goodryb qwen-image 是 20b 的,而且文生图的模型计算瓶颈较大,如果 offload 比较多很影响性能。z-image-turbo 相对低要求
50 系有个优势是 fp4 tensor 加速,也就是说 qwen-image 20b fp4 可以来到 10G 左右,z-image-turbo 还是略逊一点,当然在意精度的话就选后者高精度( fp8 起,其实我还发现 fp8 对比 fp16 下降也挺惊人)。GGUF 都要反量化,速度不一定喜人,不过精度会高一点
正如前面的佬们提到的,回测的话很多指标都需要往前时间段的数据,GPU 效果没有 CPU 好
(我不是专业的,只是恰好最近爬了币安全部分钟数据库随便测测一些策略玩,如果不对那就当我没说)
2025 年 11 月 20 日
回复了 crocoBaby 创建的主题 Local LLM 折腾了一晚上大模型,索然无味
5060 的显存太小了吧,MoE 的话应该也只能到 Qwen3-Next-80B-A3B 的样子,然后这样还会有消费级内存带宽。不过个人使用的话其实本地只用跑 embedded 模型和 reranker 模型对上下文检索就行,然后 api 接 gemini 或者别的模型,要不然长上下文会很蛋疼
2025 年 3 月 6 日
回复了 song135711 创建的主题 Local LLM 帮忙看看这个 DIY 装机配置大模型入门怎样
@song135711 如果想大换,建议换 AMD ,intel 在 13 代开始全部阉割 avx512 ,12 代仅有编码较前的可以关小核开 avx512 。比如 vllm 、llama.cpp 都有支持(虽然没有也无伤大雅,但 14 代属实不合适……)
假如愿意用 linux ,或者 windows 开 wsl (用 ollama 我记得可以直接 win ),然后用 rocm 的话,A 卡也不是不行
真的图个 16G 显存,最近有 MI50 16G 计算卡六百几,约等于 3060 ,而且有显示输出。
(当然真心想要很强图形性能可以当我前面都在放屁)
2025 年 3 月 4 日
回复了 song135711 创建的主题 Local LLM 帮忙看看这个 DIY 装机配置大模型入门怎样
如果想再扣出一点成本,3060 换成 2060 12G 版(差距不大但省很多),12600kf 换成二手散片。主板换成铭的(不换也行)。固态还是换成 TiPlus7100 吧,我记得 Ti600 是 QLC (不是不能用就是没啥性价比)。电源可以换个好点的,毕竟可以不止一台机用(假如需求继续提升,前面的都得换但是电源好歹可以不用换)
12G 看你想用什么模型,对于现在的很多应用来说都太小了,只是入门可以挑丐的,反正深入了都得换
@amiwrong123 12 代早期 es 有通病,第一条 pcie 插槽不能用,而很多主板第二条全长的 pcie 插槽给的通道只有 x4 ,假如是 4.0x4 的话不能上顶尖显卡(不过预算都这样了一般也不会去买顶尖显卡),除 12900es 比如 12700es qxq4 是有超线程 bug 的,其余没有插槽 bug 的太贵不如 13 代 es ( 13 代有内存频率限制问题)
如果嫌麻烦也有 modt 平台,移动端 cpu 和主板一起,就是不方便升级
12900es qxq3 应该三几了,然后配个开放第二槽的主板比如铭的 b760m
理论跑分多核接近 12600k ,单核低上个位数百分比的样子,有核显
理论千元内整机到手
2024 年 11 月 24 日
回复了 pcxys 创建的主题 NAS 冷备份方式。
@Rendex 看什么时候用完现在的干燥剂再说吧,还有四十几包,一箱塞六包,不打开几个月湿度都横定,除非我再买机箱应该没几年还用不完 XD
2024 年 11 月 23 日
回复了 ottoli 创建的主题 NAS 刚入手 DIY NAS 系统推荐?
unraid 底层也不是不行,引导盘是个 U 盘这样你的固态可以用来当缓存
关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2535 人在线   最高记录 6679       Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 17ms UTC 11:31 PVG 19:31 LAX 03:31 JFK 06:31
Do have faith in what you're doing.
ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86