这是一个创建于 51 天前的主题，其中的信息可能已经有所发展或是发生改变。
apple 大内存相对于大显存还是有点性价比的，有点好奇，本地 ai 现在的水平能帮助完成什么任务，或者有什么好玩的吗？
我自己只用 nv 跑过一些生图的模型，还有点意思；但是 ollama 的小参数模型智力实在是不行，连玩具都称不上。
 | 1 penisulaS 3 月 4 日 我的能跑 70b 的，但还是不够聪明，不值得一用，跑 nsfw 又太慢了 |
 | 2 fredweili 3 月 4 日 我是拿 ollama 来做运行环境跑一下代码，生产环境还是用云端的吧 |
 | 3 usVexMownCzar 3 月 4 日 via iPhone hugging face 自己写程序调优，或者 comfyui 实际体验，chat 模型不错，速度也可以。但是图像模型的体验不太好，内存还是不够大 |
 | 4 rich1e 3 月 4 日 跑 ai ，内存是一方面，模型也很重要。 虽然 mac 是一体化设计，但是同等价格，跑大模型，台式机性价比更高。 如果想在大内存 mac 上跑大模型，需要通过参数优化、量化技术等才会获得较好效果。 |
 | 5 victorysl 3 月 4 日 via iPhone 我昨天刚用 qwen 3.5 35B 在我的 M1MAX Mac 上跑本地大模型，我现在就是尝尝鲜聊聊天，不过也不知道有啥新玩法 |
 | 6 McVander 3 月 4 日 可以用本地大模型，尝试翻译。效果还行，我用了 1 年多了 |
 | 7 cwcc 3 月 4 日 @rich1e 我其实一直想量化一下同价格的 Mac 和 PC 之间跑大模型如果再算上电费的话，这个性价比结果会不会有变。毕竟电费并不是免费的，而想要长期使用必然会 7*24 小时开机。 |
 | 8 maojun 3 月 4 日 via iPhone 跑 lunatranslator |
 | 9 想用大模型来速读一下本地的视频，不知道有没有推荐 |
| 10 yukunZhan9 3 月 4 日 @McVander 可以支持文件翻译吗？ 翻译一下字幕啥的 |
 | 11 Chicagoake 3 月 4 日  跑过 20 多 b 的模型，笨得要哭。 |
 | 12 remarrexxar 3 月 4 日 不太敢在 MAC 上常规跑模型，内存不够用的时候 mac 会用 SSD 做 SWAP 当虚拟内存，大量读写的话 SSD 扛不住吧 |
 | 13 timeyoyo 3 月 4 日 macbook Pro m4 max 跑了个 20 多 b 的，键盘温度感觉可以烤牛肉，第一次听到 风扇转 |
| 14 McVander 3 月 4 日 @yukunZhan9 ollama 支持本地模型的 api 调用，但是文件可能不支持，得额外去处理和定制 |
 | 15 aptandatp OP @Chicagoake 是的，小参数的效果真的太差了，和真正的大模型有云泥之别。 @remarrexxar ssd 很难跑完寿命的其实，绝大多数人的 ssd 都是暴死和跑不完擦写次数的。除非你把 ssd 放在高吞吐的服务器做 io 缓存；毕竟你个人主机大多数时间还是浏览为主，就算有缓存其实读写量也少，之前 mac 高写入量是 macosbug 现在修复了。 |
 | 16 andyzhshg 3 月 4 日 昨天在 128G m4max 的 mac studio 上用 ollama 试了下 qwen3.5 ，35B 的那个跑的很快，122b 的也能跑，但是慢很多 不过具体的智商没有仔细看，目前还是在用云端的模型 |
 | 17 Zhuzhuchenyan 3 月 4 日 如果想对比 Apple Silicon 的大模型推理性能 https://github.com/ggml-org/llama.cpp/discussions/4167 这里有个非常长的楼，里面由各个芯片的跑 token 速度的数据 |
 | 18 gigishy 3 月 4 日 via iPhone  1 如果不是玩，而是生产力考虑，同事在 64g 内存的 Mac mini 上训练且运行了一个专用端侧模型（蒸馏），关于投资决策和风险模型。智能还可以，明显提高效率很大，且准确性越来越好。 |
Select Language