这是一个创建于 392 天前的主题，其中的信息可能已经有所发展或是发生改变。
今日看到国产大模型本地部署机器有感。
- 目前 671B 的大模型已经可以本地部署，就算没有 GPU 专门优化，高性能 CPU 跑起来似乎也能接受。
- 考虑到大模型的生产力和泛用性都很强，企业应该有大量大模型需求。
- 企业对自身数据安全有较强需求，确保本地数据不外流是基础需求。
- 本地部署虽然已经可以实现，但是可能的问题是，稍微部署几台机器可能输出性能不够用，多部署了可能用不完
- 模型本身不进行微调的话，出于通用目的使用，其实不需要有状态，理论上数据并存储的必要。
- 不知道如果企业共用模型的话，以现在的技术有没有办法确保上传的数据只用来过一遍模型，而不被第三方偷偷存下来？
 | 1 feikaras 2025 年 3 月 29 日 类似：你把钱给我用用，我保证还你。 |
 | 2 billccn 2025 年 3 月 29 日 技术上用可信计算那一套就可以：显示芯片里内置一套唯一的公私钥，公钥再由厂家签名成证书，服务器把证书传给客户端，客户端验证厂家签名，然后用该公钥加密自己需要计算的程序。运行时服务器先载入模型数据，显卡形成一个状态哈希码，客户程序解密以后第一件事就是比较哈希码，如果和编译时候的不同就把显卡重置，反之开始运行程序，结果再加密返回给客户。整个过程中宿主机 CPU 和操作系统只承担拷贝数据的角色，不知道运算的内容。 当然和已有的可信计算硬件一样，很有可能出漏洞，还可以搞供应链或者物理攻击泄漏一些芯片的私钥，所以这最终还是需要客户信任厂商。 |
 | 3 msg7086 2025 年 3 月 29 日 没办法，这东西只能靠信任和法律保障，比如说数据泄露了赔偿 1 个亿，那问题就结了。 当然，归根结底还是看你的数据有多重要，处理机密数据的厂除了自建以外没有别的选择。 而且就算自建也需要处理安保问题，必须是经过审核的人才能进机房碰机器。 |
 | 4 kevinxzhao 2025 年 3 月 29 日 怎么可能 |
 | 5 danhahaha 2025 年 3 月 29 日 找个第三方的可信机构或者部门托管，但是目前国内好像真没有，不如交给朝鲜，封到长白山上 |
 | 6 wyntalgeer 2025 年 3 月 29 日 可以的，你搞定园区主任，邀几个企业入驻，然后机房部署后给他们扯网线用。去掉第三方就好了，也就是说你的突破口在园区主任，加油 |
 | 7 sujin190 2025 年 3 月 29 日 via Android 直接设计 asic 芯片估计可以做到，芯片直接在物理上就设计成内部解密内部计算，不提供外部读取数据能力就是了，只要物理做死了通过检测，大概率就没什么好方法破坏了 |
 | 8 yinmin 2025 年 3 月 29 日 via iPhone 租云服务商的算力自己部署大模型，azure 、aws 、阿里云、腾讯云都有这种服务的。 |
Select Language