这是一个创建于 640 天前的主题，其中的信息可能已经有所发展或是发生改变。
I 家 A 家不都出了新一代的笔记本 CPU ，不约而同都集成了 NPU 芯片，然后网上的通稿都号称能跑 stable-diffusion 大模型。现在这些笔记本也都开卖了，有人实际测试过跑大模型要怎么跑吗？
https://imgur.com/RJqXfiy
我对 NPU 的印象就是能效比较高，但是适用范围很窄，只能适配一些提前设定好的程序或算法，比方说行 Windows 内置的语音识别图像识别功能。我觉得通稿里测的这个 statble-diffusion 应该不是通过常规方式运行的，可能需要修改源代码，毕竟 Pytorch 都没有给 NPU 适配的版本，但是通稿里对这些都没说清楚，也没人真的跑过，所以好奇是怎么回事。
https://imgur.com/Jq09ryn
https://imgur.com/RJqXfiy
我对 NPU 的印象就是能效比较高，但是适用范围很窄，只能适配一些提前设定好的程序或算法，比方说行 Windows 内置的语音识别图像识别功能。我觉得通稿里测的这个 statble-diffusion 应该不是通过常规方式运行的，可能需要修改源代码，毕竟 Pytorch 都没有给 NPU 适配的版本，但是通稿里对这些都没说清楚，也没人真的跑过，所以好奇是怎么回事。
https://imgur.com/Jq09ryn
 | 1 James369 2024-02-24 17:14:50 +08:00 看成了移动手机，NPU 一般对向量矩阵操作有加速作用，不清楚 PC 上是走什么软件接口 |
 | 2 ModerRAS 2024-02-24 17:23:49 +08:00 via iPhone amd 的用他专用的 pytorch 或者 onnxruntime 就行，然后需要装一下 ipu 驱动，只能跑 int8 量化的模型 |
 | 3 THESDZ 2024-06-04 10:53:32 +08:00  1 |
| 4 THESDZ 2024-06-04 11:03:17 +08:00 @THESDZ #3 https://github.com/airockchip/rknn-toolkit2 这是 rk 芯片开发板的 npu 相关的工具包 |
Select Language