30min 搭建本地运行的 General AI agent, 多模态,自扩展,还支持语音!

建议配置:

普通中高配 PC(使用 LLM 服务商的情况)

64GB+ VRAM(打算本地运行 LLM,GPU 加速 VecDB,PDF 转换模型,语音对话的情况)

建议环境:

Ubuntu20.04+

Anaconda

Python 3.9-3.12

LLM: 所有与 openai api 兼容(基本上就是全部了,你可以用 litellm 来把漏网之鱼转换到 openai api)的 LLM 提供商/本地推理服务均可接入.

对于不打算玩硬核本地运行的玩家,你需要一个 API key,推荐 openrouter. 最优效果不妨直接选 claude3.5 sonnet.国内人士可以通过 openrouter 来访问. 国内玩家不愿麻烦的,可以直接用 QWen 2.5 72B instruct(QWen 其他系列模型亦可)或者 Deepseek V3. 推荐 qwen,deepseek 系列幻觉严重.

本地跑的土豪们,可以上 QWen 2.5 72B instruct.但还是建议有个 openrouter 的 api key,因为你可以混用不同的 LLM 以达到最优性价比.

安装命令:

git clone https://github.com/myshell-ai/AIlice.git cd AIlice pip install -e . 

需要让 agent 有:阅读 pdf 文献/语音对话能力的:

pip install -e .[pdf-reading] pip install -e .[speech] 

有 GPU,运行速度却死慢的,安装 vulkan,然后运行

ailice_turbo 

这里不一定能装上,烧香许愿吧.

运行: 对于有 openrouter API 不差钱的:

ailice --modelID=openrouter:anthropic/claude-3.5-sonnet --cOntextWindowRatio=0.2 

对于有 openrouter API 差点儿钱的(claude/qwen 混合模式):

ailice --cOntextWindowRatio=0.5 

对于走 deepseek 的:

ailice --modelID=deepseek:deepseek-chat --cOntextWindowRatio=0.5 

自己本地跑的需要去( https://github.com/myshell-ai/AIlice)学习配置方法.

运行后稍等片刻,系统下载完 VecDB 的模型权重(开语音的还需要下载语音模型权重),打开

http://127.0.0.1:5000/ 

能干啥呢?调查+执行.它可以搜索,浏览网页,执行 bash 命令,执行代码.对某一主题做搜索和调查并整理出报告,阅读文献,快速写程序并调试执行,甚至帮你解决系统环境中遇到的各种问题.

我罗列下我最近让它做的事情:

• 调查高血压的最新治疗方案
• 解决本地环境中遇到的 GLibC 版本问题
• 调查 deepseek R1 和后续出现的 RL 方案
• 用 RL 训练模型玩小游戏
• 寻找网络上的公开医学文献数据并批量下载
• 寻找最新的 AI 模型并在本地部署
• 解决 C++项目编译中遇到的环境配置问题 ...

UI 很简陋.但这个 UI 支持图像,音频,视频,latex 公式,代码高亮,运行时用户介入和中断任务.

这里有直球作者搞的录屏演示视频,没错,全程录屏,绝不掺水:

Demo

代码库 MIT 协议,随你怎么搞.