GPLer 最近的时间轴更新 GPLer 最近的时间轴更新 | GPLerV2EX 第 353984 号会员，加入于 2018-10-05 16:11:10 +08:00今日活跃度排名 5896 |
| 创造了 uv 的 Astral 公司被 OpenAI 收购 Python GPLer 3 月 20 日 最后回复来自 GPLer | 7 |
| 中国区用户的海外 Unity 资源商店的访问权限将于 2026 年 3 月 31 日终止 UNITY GPLer 3 月 3 日 最后回复来自 GPLer | 8 |
| Bun 被 Anthropic 收购 分享发现 GPLer 2025 年 12 月 4 日 最后回复来自 CWorld | 29 |
| 通过新加坡的服务器使用 bing 进行搜索，结果全是知乎 全球工单系统 GPLer 2024 年 10 月 22 日 最后回复来自 GPLer | 2 |
| Haystack Editor source-available Visual Studio Code GPLer 2024 年 9 月 26 日 |
| 是否存在无默认行为的代码格式化工具 程序员 GPLer 2022 年 8 月 16 日 最后回复来自 secondwtq | 18 |
| 纯前端有哪些像程序员三大浪漫这样可以持续深入学习的研究方向 前端开发 GPLer 2022 年 1 月 12 日 最后回复来自 agdhole | 4 |
| 国外研究员发现一个 Chrome 的远程代码执行漏洞 Chrome GPLer 2021 年 4 月 15 日 最后回复来自 GPLer | 2 |
| 如何击杀互相调用的程序？ 问与答 GPLer 2021 年 2 月 13 日 最后回复来自 zszhere | 10 |
| 免费网游加速器“流星”的马脚露出来了？ 信息安全 GPLer 2020 年 8 月 17 日 最后回复来自 ashtwo | 13 |
GPLer 最近回复了
1 天前 回复了 inyfee 创建的主题 Vibe Coding 当你一个任务跑一半触发了 5 小时限制的时候，你会怎么办？ |
开 1m 上下文，提示词要求任务完成之前不要暂停，额度到了不触发压缩已有任务会继续跑。
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
@GPLer 另外因为目前看下来还是稠密模型能力强，所以一般不推荐 AI Max+ 395 128GB 和 DGX Spark 128GB ，跑 27B 模型速度太慢没法用，苹果只是单纯力大砖飞+高性价比所以才写上去了。
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
@Enivel FTS 一开始没反应过来，查了下这不就是双路召回的其中一路吗，都 2026 年了，早就标配了。
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
@akadanjuan101 所以你 40g 显存目前用啥模型啊
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
@akadanjuan101 但是这种现在没有全新的了，容易买到矿，本身也是魔改卡，质保也是个问题，所以我说了有丐的方案但是不推荐
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
@Lykos 我自己有一张 3090 24g ，35b 和 27b Q4 用 Ollama 勉强能跑，但是上下文开不高，还是推荐 5090 32g 或 4090 48g ，另外 mac m5 max 64g 版本也是不错的选择，算下来整机成本大概 3w ~ 4w 左右，再往上家用就太贵了。
本来 24g 显存显卡最合适的是用 vllm 跑 27b q4 ，但是 qwen 官方量化的 q4 有问题，权重和 fp8 一样大，只能等 qwen3.6 27b 再看看了。
目前公司里用 A6000 48g 和 4090 48g 在用 vllm 私有化部署模型，48g 显存部署 fp8/q8 精度上下文能拉满原生 256k 上下文，非代码类任务用用还行。
---
另外如果不要求长上下文的话，27b 模型 16g + gguf 极限量化应该也能跑，35b 模型内存+显存混合使用应该也能跑，不过我没试过，所以不做推荐
---
丐的方案也有，比如 v100 32g x4 、2080ti 22g x2 、3090 24g x2 、m1 ultra 128g 、m2 ultra 128g/256g ，但是这些方案要么太老要么功耗太高又没质保，并且我没试过，所以就不推荐了。
本来 24g 显存显卡最合适的是用 vllm 跑 27b q4 ，但是 qwen 官方量化的 q4 有问题，权重和 fp8 一样大，只能等 qwen3.6 27b 再看看了。
目前公司里用 A6000 48g 和 4090 48g 在用 vllm 私有化部署模型，48g 显存部署 fp8/q8 精度上下文能拉满原生 256k 上下文，非代码类任务用用还行。
---
另外如果不要求长上下文的话，27b 模型 16g + gguf 极限量化应该也能跑，35b 模型内存+显存混合使用应该也能跑，不过我没试过，所以不做推荐
---
丐的方案也有，比如 v100 32g x4 、2080ti 22g x2 、3090 24g x2 、m1 ultra 128g 、m2 ultra 128g/256g ，但是这些方案要么太老要么功耗太高又没质保，并且我没试过，所以就不推荐了。
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
@GPLer 另外 目前家用最强的模型 gemma4 31b 、qwen3.5 27b 、qwen3.6 35b_a3b ，如果要测试最好在这三个里选，测试下来稠密模型效果比激活参数小的 MoE 模型好很多。
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
@archxm 3b 模型只能日常对话，基本上没有实用价值，数据量和模型大小没有直接关系，跟上下文长度以及长文本能力有关，3b 也许长文本能力还行，但是模型能力不行也没用。
27b 风评还是不错的，如果效果一般可能是 RAG 配置问题，可以先不用 RAG ，试试都放到一个文件夹里，然后用 opencode 等 agent 平台配置模型，然后将目录所在位置告诉它，测试这种情况下的问答效果，速度会慢很多，但是大模型自己探索后应该能答对，如果这样子可以，后面可以让模型写个 skills ，将检索的技巧做成技能。
27b 风评还是不错的，如果效果一般可能是 RAG 配置问题，可以先不用 RAG ，试试都放到一个文件夹里，然后用 opencode 等 agent 平台配置模型，然后将目录所在位置告诉它，测试这种情况下的问答效果，速度会慢很多，但是大模型自己探索后应该能答对，如果这样子可以，后面可以让模型写个 skills ，将检索的技巧做成技能。
3 天前 回复了 archxm 创建的主题 程序员 RAG 难以让人满意啊 |
@archxm 新出的 qwen3.6-35b 再试试？
Select Language