自己写了一个轻量的 AI 网关, 感觉适合拼车用户, 拿来分享一下 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
lx0758

自己写了一个轻量的 AI 网关, 感觉适合拼车用户, 拿来分享一下

  •  
  •   lx0758 15 天前 1583 次点击

    本来是给自己做的, 前两天公司内网需要一个, 就给开源了.

    主要用途是管理众多大模型提供商, 提供二次分发的 ApiKey. 附带 OpenAI 和 Anthropic 协议互转能力.

    网上有同类的产品, 但是觉得都比较重, 不适合个人用户部署.

    项目地址: https://github.com/lx0758/AI-Gateway

    最重要的: 各位大哥们, 求个 Star 啊!!!

    8 条回复    2026-04-07 07:39:00 +08:00
    LRWF
        1
    LRWF  
       15 天前
    看着还行,已 star ,跟其它同类项目相比,有什么特别的优势不?
    ezioswj
        2
    ezioswj  
       15 天前
    star 学习学习,最近才开始研究这方面,感觉我有点慢了/(ㄒoㄒ)/~~
    FakerLeung
        3
    FakerLeung  
       15 天前
    octopus ?
    vonsdite
        4
    vonsdite  
       14 天前
    我也来一个: https://github.com/VonSdite/LLM_Proxy

    - 支持一个上游对接多个下游(当前还是 1:1 ,正在修改)。比如上游 openai 接口,下游可对接 openai_chat\claude\codex 协议客户端
    - 支持 Hook 扩展,有些 provider 需要 cookie 或者 token 才能访问,并且需要动态更新,这个时候可以写 hook 来扩展,hook 有 header_hook 、request_guard 、response_guard ,后面两个 guard 可以来做内容检测
    - 支持白名单控制用户管理,不开的时候所有 IP 均能访问,开了之后只有允许的 IP 才可访问 provider ,支持对模型粒度的用户控制
    - 支持 Provider 设置多个 api key 的策略,可控制单独 key 的使用量、请求数等
    lcry2023
        5
    lcry2023  
       14 天前
    和 new-api 和 one-api 这类区别是?
    lx0758
        6
    lx0758  
    OP
       14 天前
    @LRWF
    @lcry2023
    不是很清楚呢, 市场上我就看了下 OneApi, 都太重了. 我只希望有 API 转发就好.
    目前我搞这个可以说非常轻量, 因为也没有啥功能, 部署之后只占用 25MB 内存的样子...
    正在做 MCP 的转发.
    3573535
        7
    3573535  
       13 天前 via iPhone
    @lx0758 来个 cloudflare 版本的。哈哈哈
    xiaoz
        8
    xiaoz  
       13 天前 via Android
    其实 Bifrost 比较轻量:https://blog.xiaoz.org/archives/22835 ,golang 开发的,支持负载均衡,故障转移。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     988 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 62ms UTC 19:52 PVG 03:52 LAX 12:52 JFK 15:52
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86