最近在做 AI Agent 相关的产品，整理了一下技术栈中用到的开源项目，分享给有类似需求的朋友。
沙箱 / 代码执行
Agent 要执行代码、装包、操作文件，隔离是刚需。
- https://github.com/boxlite-labs/boxlite 可嵌入的轻量 VM 运行时，硬件级隔离，无 daemon ，直接用 OCI 镜像。适合需要完整 Linux 环境但又不想管 VM 基础设施的场景。
- https://github.com/firecracker-microvm/firecracker AWS 开源的 microVM ，Lambda 和 Fargate 背后的技术，功能强大但上手门槛较高。
- https://github.com/google/gvisor Google 的用户态内核，拦截系统调用实现隔离，比纯容器安全但有兼容性问题。
Agent 框架
- https://github.com/langchain-ai/langchain 生态最全，工具链丰富，但抽象层多，调试有时候头疼。
- https://github.com/langchain-ai/langgraph LangChain 团队做的，适合复杂多步骤 workflow 。
- https://github.com/crewAIInc/crewAI 多 Agent 协作，上手简单。
- https://github.com/microsoft/autogen 微软出品，多 Agent 对话模式。
向量数据库 / RAG
- https://github.com/chroma-core/chroma 轻量嵌入式，本地开发首选。
- https://github.com/milvus-io/milvus 生产级，支持分布式，适合大规模。
- https://github.com/qdrant/qdrant Rust 写的，性能不错，API 设计干净。
- https://github.com/run-llama/llama_index RAG 全家桶，数据连接器多。
模型推理
- https://github.com/vllm-project/vllm 高吞吐推理，PagedAttention ，生产部署常用。
- https://github.com/ollama/ollama 本地跑模型最省心的方案。
- https://github.com/ggerganov/llama.cpp CPU 推理之王，量化模型必备。
可观测性
- https://smith.langchain.com/ LangChain 配套，trace 调试方便（非开源但有免费额度）。
- https://github.com/Arize-ai/phoenix 开源的 LLM 可观测性工具。
大家在用什么其他项目？欢迎补充。
1
Select Language