
由于 Apple 抛弃了 N 卡,黑苹果驱动不支持,白苹果没独立 N 卡。
几乎所有的 AI 项目都以 python 为主,然后因为要 N 卡参与训练和推理,导致现在绝大部分 AI 项目都在 linux/windows 平台上,众多个人开发者或者学习者都是以 win 平台为主。
对于刚接触的,想要跑一下试试的,mac 平台也没有太方便的一键运行测试的东西,后面真正要用了,发现还是要云 GPU 运算或者 windows 平台搭配 N 卡才是王道。
apple 跟 nvdia 没有紧密合作,在 AI 开发时代感觉已经落后了,介于 mac 平台困难重重,最后还是买了一台 pc ,搭配 14 代 i728 核,4070tis ,性能上超过 mac ,尤其是 AI 方面的性能 mac 根本没法比。
新出来的 M4 ,比起独立 N 卡,算力方面差的不是一星半点,并且 N 卡 Tesla 还能并联算力翻倍,大部分的 GPU 服务器也是 linux 或 windows ,导致开发环境包括工具都偏向 win 。
apple 想要靠自己干翻 intel+nvdia ,基本不可能了,M 系列芯片出来之后,大家都很兴奋,平时开发都够用且好用。没想到时代巨变,AI 越来越普及,导致 M 的算力和优势荡然无存,期待什么时候 mac 再次跟 nvdia 合伙,AMD 实在是扶不上墙。
1 yidinghe 2024 年 5 月 23 日 苹果的产品设计过于强调通过用户体验来驱动,最终导致技术全部为体验服务,为了独特的体验而造成硬件技术的封闭。 |
2 Morriaty 2024 年 5 月 23 日 |
3 F281M6Dh8DXpD1g2 2024 年 5 月 23 日 说的好像 nvidia 的游戏卡有多大显存似的 |
4 mumbler 2024 年 5 月 23 日 本地跑大模型,96G 内存的 mac 是唯一能跑 llama3 70B 的 |
5 mengdu 2024 年 5 月 23 日 苹果只想做高利润产品。 |
7 LuckyLauncher 2024 年 5 月 23 日 我不觉得可用的 AI 产品是家用级别的显卡可以搞定的 你要是玩玩当我没说 |
8 shinsekai 2024 年 5 月 23 日 为何 AI 开发没有出现像 vulkan 这种跨平台的 |
9 oisc 2024 年 5 月 23 日 MLX 和统一内存了解一下 |
10 ShadowPower 2024 年 5 月 23 日 @mumbler 能跑其实很容易,只是跑得快不快…… 用 cpu 就能跑,而且也有 1.2~1.4token/s |
11 chendy 2024 年 5 月 23 日 一来真正干 AI 开发的人没多少 二来正经干 AI 开发的人都用服务器不用 PC 三来 APPLE MAC 除了干 APPLE 是刚需其他方面谈不上领先 |
12 Code00911 2024 年 5 月 23 日 MAC 也就在自己小圈子玩玩 |
13 YooboH 2024 年 5 月 23 日 你是从业者吗?搞深度学习的我就没见过本地跑的,本地跑只能是初学者玩票性质的,哪怕你 4090 也没用啊,不是速度的问题,是显存完全不够。更别说这还只是推理,你要是训练的话怎么可能用本地机器,全部都是服务器,实验室里我就没见过本地部署的,要么实验室里给的服务器,我么云服务器厂商像 autodl ,企业的话就更不可用自己的小破电脑了了 |
14 ShadowPower 2024 年 5 月 23 日 @LuckyLauncher 除了参数量很大的 LLM 以外,大多数东西用消费级显卡还真能搞定。 很多生产力任务都已经用上了,比如: 高质量视频插帧、视频降噪、视频超分辨率、SDR 转 HDR 、光追渲染加速(少量采样+AI 预测最终结果) Stable Diffusion XL 也达到了生产可用的程度,当然,没达到“能直接取代人”的程度…… 娱乐方面也有: 同上,视频插帧、超分辨率等,但也可以运用于实时游戏中,例如 SDR 游戏画面转 HDR ( Windows AutoHDR )、游戏超分辨率( DLSS 2 )、游戏插帧( DLSS 3 )、优化光追效果( DLSS 3.5 ) 这些技术虽然有传统算法实现的替代方案,但是质量不如基于神经网络的…… 还有很多不用显卡就能搞定的,例如歌声合成(像 Synthesizer V 这样的软件),语义分割,光学字符识别,语音识别等等。 最大的开源端到端的语音识别有 Whisper ,只要消费级显卡就可以跑了。 用不那么大的 LLM (~13B ,量化以后可以用消费级显卡跑)跑文本翻译之类的任务,也能满足不少需求。 如果是指训练模型,公司就有用 3090 、4090 来训练的模型,做下游任务的微调还真能用。 |
15 yzbythesea 2024 年 5 月 23 日 op 平时是做 ML 的吗? |
16 YooboH 2024 年 5 月 23 日 via iPhone "大部分的 GPU 服务器也是 linux 或 windows" 也是很奇怪,没见过 windows 当服务器的,windows 比 linux 有任何优势吗 |
17 lithiumii 2024 年 5 月 23 日 via Android 你要是说云端的 AI 训练和推理,那苹果妥妥落后了。但首先苹果就不做云服务的硬件,其次除了英伟达所有人都落后。 你说 AI 开发,你要不要看看 OpenAI 纪录片里大家都用的啥电脑?正经训练谁跑本地啊。 再说个人玩票性质的本地 AI 开发,如果你的需求是把大模型在本地跑起来,苹果那金贵的统一内存不仅很有性价比,而且很现实。24G 以上的 N 卡没有便宜的,24G 及以下的卡做多卡平台的体积、功耗、噪音也不是人人都能接受的。软件上 |
19 lithiumii 2024 年 5 月 23 日 via Android @YooboH 有句讲句 Windows 服务器挺多的,市场占有率可能有 20%,不过带 gpu 的 ai 服务器就不知道了 |
20 gouflv 2024 年 5 月 23 日 via iPhone
|