请教 Mac studio 部署 ai,用 ollama 还是 lm studio - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
yyluxe
V2EX    macOS

请教 Mac studio 部署 ai,用 ollama 还是 lm studio

  •  
  •   yyluxe May 15, 2025 3458 views
    This topic created in 347 days ago, the information mentioned may be changed or developed.

    请教 Mac studio 部署 ai ,用 ollama 还是 lm studio 更好一点?不甚了解,希望懂得朋友可以在给出答案的同事稍微讲一下理由 !~

    21 replies    2025-09-10 12:06:54 +08:00
    Surechun
        1
    Surechun  
       May 15, 2025
    非技术人员用 ollama ,部署简单,常用的模型都有。而 LM 一般给技术人员去折腾的,模型量会比 ollama 多一些,模型的选择源多一些(直接去 Hugging Face 下载模型用)
    ZiChun
        2
    ZiChun  
       May 15, 2025
    我的建议是 lmstudio 。我这边 M4 Max 使用 lmstudio 部署 mlx 格式的 qwen-30b-a3b 能有 95t/s ,ollama 部署 qwen-30b-a3b 大概是 75t/s 。
    fredweili
        3
    fredweili  
       May 15, 2025
    我用 ollama ,简单,模型也比较丰富
    不做微调之类的,主要学 MCP 和 Agent
    G200
        4
    G200  
       May 15, 2025
    mlx 格式优先,选 lm studio
    icestraw
        5
    icestraw  
       May 15, 2025
    我建议 API 。mac 性能太低,模型太小不实用,太大跑不动,ram 装得下并发也低,训练也跑不动。除了玩一下子没啥大用。
    heyjei
        6
    heyjei  
       May 15, 2025
    lm studio 不是更简单嘛。

    在一些网络隔离的环境下,独立部署是非常有必要的。
    234ygg
        7
    234ygg  
       May 15, 2025
    性能太低,没有部署价值,api 或网页版很便宜
    duvet
        8
    duvet  
       May 16, 2025
    API 比电费便宜,除非想自己微调或者担心隐私问题没必要本地部署
    slowgen
        9
    slowgen  
       May 17, 2025
    用 LM Studio ,配合 MLX 和 DWQ 量化(最新的一个量化方法,质量很好)很不错,开 KV Cache 也方便,我拿 M2 Ultra 跑 Qwen3-30B-A3B-DWQ 的 4bit 版可以到 105token/s ,Qwen3-235B-A22B-DWQ 的 4bit 版本也能到 32token/s
    SakuraYuki
        10
    SakuraYuki  
       May 19, 2025
    ollama 省事
    yyluxe
        11
    yyluxe  
    OP
       May 19, 2025
    @Surechun 好滴 多谢
    yyluxe
        12
    yyluxe  
    OP
       May 19, 2025
    @ZiChun 试了试 确实如你所说
    yyluxe
        13
    yyluxe  
    OP
       May 19, 2025
    @fredweili 好滴
    yyluxe
        14
    yyluxe  
    OP
       May 19, 2025
    @G200 ollama 没有这个格式?
    yyluxe
        15
    yyluxe  
    OP
       May 19, 2025
    @icestraw 私密 私密
    yyluxe
        16
    yyluxe  
    OP
       May 19, 2025
    @heyjei 是的 太对了
    yyluxe
        17
    yyluxe  
    OP
       May 19, 2025
    @duvet 私密 私密
    yyluxe
        18
    yyluxe  
    OP
       May 19, 2025
    @shuimugan 好主意
    yyluxe
        19
    yyluxe  
    OP
       May 19, 2025
    @SakuraYuki 好的 多谢
    yyluxe
        20
    yyluxe  
    OP
       Sep 10, 2025
    @G200 ollama 能用这个格式不
    yyluxe
        21
    yyluxe  
    OP
       Sep 10, 2025
    @shuimugan 这么高!
    About     Help     Advertise     Blog     API     FAQ     Solana     3049 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 46ms UTC 15:00 PVG 23:00 LAX 08:00 JFK 11:00
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86