@zsj1029 我在某硬件平台，租了个 5090 平台测试，Q4_K_M 版本，使用 llama.cpp 运行 262114 上下文，显存占用 26GB ，prefill 大概 3000t/s,decode 稳定在 70t/s

感觉是不是楼主的 A100 参数还有优化的空间。体感上 5090 跑 qwen3.6-27B,输出不比官网 v4-flash 慢

1 day ago

Replied to a topic by zsj1029 Vibe Coding Deekseek v4 真不错，一天时间写了一个 rust 的 trojan 的服务端

@zsj1029 借楼，A100 运行 qwen3.6-27B ，是全量版本、上下文开满吗？ prefill 和 decode 分别性能是多少？

3 days ago

Replied to a topic by David666 分享创造企业 AI 落地，审批预审是不是比聊天机器人更容易先跑出价值？

统计学模型最容易发挥优势的地方就在于“统计”。

也就是“规则复杂维度多，基础数据庞大检索困难，难以通过人力归纳总结收敛最优解，甚至需要制定一些反效率的框架与流程来束缚一线从业者能力上限，从而提高生产成功率”的领域。

比如编程就是上述描述的典型场景。

对应的，医疗、法律建议，科学研究，合同分析，新闻解析等，也都如此。目前 AI 沁润比较深的也都是以上行业。

4 days ago

Replied to a topic by kkth 游戏开发 AI 开发游戏，关于素材方面有什么好的思路吗？

你通过什么手段进行的结果审核？如果没有 result review ，会大幅度的消耗你的精力。

你是否通过提示词指导了 AI 如何生成素材？游戏里的视觉效果，五成靠骗，四成凑合，一成靠画。如果你是业余的前提下，主观客观上指导了 AI 如何实现视觉效果，其实绝大多数情况都是误导。

4 days ago

Replied to a topic by sq892246139 分享发现 HackerNews 上一个有趣的 1d chess 谜题，你能找到答案吗

花了一点时间，几乎是穷举，吧八格的必胜法走出来了……

1 、开局走马。
2 、通过移动车，逼对方马前跳
3 、让对方的王吃掉自己的马，否则会逼和。
4 、车吃掉对方前跳的马。

4 days ago

Replied to a topic by kisshere Apple 现在哪里还能花最便宜的方式买到正品的 mac(mini|studio) 64GB 的装备？

@SteveRogers 要等 M5 Max 版本的 studio 出来才行。M4 MAX 的性能比这代低很多，另外，mac 的统一内存是够放满血版本（非量化）的 qwen3.6 27B 的，但是因为内存带宽，所以性能很差。

4 days ago

Replied to a topic by kisshere Apple 现在哪里还能花最便宜的方式买到正品的 mac(mini|studio) 64GB 的装备？

@hello365 目前的话，qwen3.6-27B 4bit 量化的 mlx 版本模型，M5 MAX 128GB 的 macbookpro ，decode 输出可以跑到 30t/s ，prefill 输入可以跑到 700t/s

如果是 moe 模型，比如 qwen3.6-35B-A3B ，能到 100t/s 的输出。

4 days ago

Replied to a topic by skuuhui 程序员在 AI coding 上的困境，想做个调研

@skuuhui 这个直觉没错的，但是对应的账应该反过来算。
1 、你降低了你自己的心智负担，你就更有时间、精力来给模型兜底。
2 、目前主流的 Agent 思路是 loop + 审核抽卡，所以误差的积累很大程度上可以靠增多多抽卡次数来抹平。也就是靠烧更多的 token 来换你更少的干预。
3 、目前模型的能力更强了，最优解的统计学优势更明显，即便上下文有一系列错误，也会无视或者自行纠错。

More replies by sentinelK