snowkylin 最近的时间轴更新 snowkylin 最近的时间轴更新
snowkylin
snowkylin
| 本地部署 DeepSeek-R1 671B 千亿大模型流程 分享发现 snowkylin 235 天前 最后回复来自 lifechan | 24 |
| ReleaseZip：使用 .zip 域名发布和分享 zip 文件 1 分享创造 snowkylin 2023-06-19 09:32:48 AM 最后回复来自 snowkylin | 16 |
snowkylin 最近回复了
247 天前 回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@zhyim 8-bit 的吗，应该可以吧（可能得看 H100 是多少显存的版本），试试？
255 天前 回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
256 天前 回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@vpsvps 我没试过直接用 ollama 下载，不太确定，以及这个是 unsloth ai 出的动态量化版本，目前我只看到 huggingface 上有
256 天前 回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
256 天前 回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@vpsvps 可以，会比较慢（可能大约 2-3 token/s ，取决于内存带宽和 cpu 规模）
256 天前 回复了 snowkylin 创建的主题 分享发现 本地部署 DeepSeek-R1 671B 千亿大模型流程 |
@fcten 是的，所以我在正文里写了，文中测试的这套配置对于跑大规模 LLM 推理并不是最有性价比的（我用这个只是因为我手上刚好有，主要是做训练用）。如果纯做 LLM 推理，目前最有性价比的新机方案我觉得可能是高配大内存的 Mac Studio 。
https://x.com/ggerganov/status/1884358147403571466
https://x.com/ggerganov/status/1884358147403571466
2023-07-13 18:00:07 +08:00 回复了 muzihuaner 创建的主题 分享创造 欢迎加入山河大学 |
2023-07-02 04:54:50 +08:00 回复了 muzihuaner 创建的主题 分享创造 欢迎加入山河大学 |
草，我才发现 .ac.cn 域名是开放注册的
那中科院以及国科大岂不是有点尴尬……
那中科院以及国科大岂不是有点尴尬……
2023-06-19 09:32:48 +08:00 回复了 snowkylin 创建的主题 分享创造 ReleaseZip：使用 .zip 域名发布和分享 zip 文件 |
@Greatshu 可以参考版上之前的一些讨论： https://v2ex.com/t/943679
2023-06-16 09:13:03 +08:00 回复了 snowkylin 创建的主题 分享创造 ReleaseZip：使用 .zip 域名发布和分享 zip 文件 |
@codehz 新的版本可以重命名呀，文件名加个前缀后缀，yourfile_v2, yourfile_v3 之类的，就可以上传了。当然之后如果搞个用户系统的话，是可以让已登录的用户管理自己 released 的文件。
Select Language