项目自荐: GPT-Load - 高性能 AI 网关,为多种大模型服务提供统一的负载均衡和密钥管理。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
tbphp
V2EX    程序员

项目自荐: GPT-Load - 高性能 AI 网关,为多种大模型服务提供统一的负载均衡和密钥管理。

  •  
  •   tbphp 129 天前 2976 次点击
    这是一个创建于 129 天前的主题,其中的信息可能已经有所发展或是发生改变。

    项目地址: https://github.com/tbphp/gpt-load
    如果对你有用,辛苦点个 Star 吧。

    简单说下,能干啥:
    支持多个渠道类型( OpenAI ,Gemini )的 Key 池轮询代理服务。 现在 Gemini 的免费 Key 又恢复了gemini-2.5-pro可用额度,马上去搞点 Key ,一键部署起来爽用! 如果你有很多硅基或者其他渠道的 Key ,也可以用这个项目来方便的管理多 Key 。

    一个高性能、企业级的 AI 接口透明代理服务,专门为需要集成多种 AI 服务的企业和开发者设计。采用 Go 语言开发,具备智能密钥管理、负载均衡和完善的监控功能,专为高并发生产环境而设计。

    详细请查看 官方文档

    功能特性

    • 透明代理: 完全保留原生 API 格式,支持 OpenAI 和 Google Gemini 等多种格式(持续扩展中)
    • 智能密钥管理: 高性能密钥池,支持分组管理、自动轮换和故障恢复
    • 负载均衡: 支持多上游端点的加权负载均衡,提升服务可用性
    • 智能故障处理: 自动密钥黑名单管理和恢复机制,确保服务连续性
    • 动态配置: 系统设置和分组配置支持热重载,无需重启即可生效
    • 企业级架构: 分布式主从部署,支持水平扩展和高可用
    • 现代化管理: 基于 Vue 3 的 Web 管理界面,直观易用
    • 全面监控: 实时统计、健康检查、详细请求日志
    • 高性能设计: 零拷贝流式传输、连接池复用、原子操作
    • 生产就绪: 优雅关闭、错误恢复、完善的安全机制

    Docker 快速开始

    docker run -d --name gpt-load \ -p 3001:3001 \ -e AUTH_KEY=sk-123456 \ -v "$(pwd)/data":/app/data \ ghcr.io/tbphp/gpt-load:latest # 使用 sk-123456 登录管理界面: http://localhost:3001 

    还支持Claw Cloud快速部署,Docker Compose及源码部署。
    更多部署方式和使用方法情参考 官方文档

    10 条回复    2025-07-20 22:39:56 +08:00
    uRQDd07Pt2UWOtOF
        1
    uRQDd07Pt2UWOtOF  
       128 天前
    项目不错, 不过考虑到如何要使用这个代理, 用户要买机器, 要懂容器, 要买域名, 这个门槛其实挺高的

    这里有一个把你单租户的模式改成多租户的方案 ---》 机器在云上, 注册即可获得所有能力岂不更好?

    全球模型调用两步搞定,无需再买海外机器、搭代理、配域名:

    1. 注册 http://a.xaicontrol.com ,拿到 xai api key
    2. 在系统里录入自己的 OpenAI / Anthropic / Gemini / DeepSeek key ...

    即可通过 api.xaicontrol.com 稳定调用全球模型。区块链级加密,保障数据安全
    tbphp
        2
    tbphp  
    OP
       128 天前   2
    @xabclink 真的是人才啊。。。
    你觉得他们是信你的平台把秘钥上传给你,还是自部署可靠?

    跑别人帖子下来推广,还踩一捧一,论坛人才济济啊。
    w568w
        3
    w568w  
       128 天前
    #1 @Livid 在别人的帖子下多次刷自己的商业 API 站广告

    t/1146354
    t/1140287
    t/1141070
    uRQDd07Pt2UWOtOF
        4
    uRQDd07Pt2UWOtOF  
       128 天前
    @w568w 我只是给世界多了一个选择而已, 不必这样吧

    同样都是第三方服务器 , 本质上安全都是相同的 @tbphp , 再说数据安全问题最终是法律问题, 不讨论这个问题

    我只是给网友多一个选择, 你需要自信一点, 我认为你的项目不错
    Livid
        5
    Livid  
    MOD
    PRO
       128 天前   1
    @tbphp
    @w568w

    谢谢,1 楼的 spam 账号已经被彻底 ban 。
    Livid
        6
    Livid  
    MOD
    PRO
       128 天前
    @tbphp
    @w568w

    那个 spam 域名已经加入黑名单。
    w568w
        7
    w568w  
       128 天前
    @xabclink #4

    > 同样都是第三方服务器 , 本质上安全都是相同的
    ??? OP 的帖子哪里有第三方服务器了?我不至于蠢到分不清 SaaS 和 Open-source backend software……

    > 我只是给世界多了一个选择而已, 不必这样吧

    让 V 站管理员来定夺吧。在别人帖子里不打自家广,这是最基本的社交礼仪
    Livid
        8
    Livid  
    MOD
    PRO
       128 天前   1
    @w568w 在另外两个主题下的 spam 回复已经被清理。
    duzhuo
        9
    duzhuo  
       128 天前
    真离谱 把自己的 key 交给别人保管。。
    tbphp
        10
    tbphp  
    OP
       127 天前
    @Livid 管理神威,666 !
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2875 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 23ms UTC 14:07 PVG 22:07 LAX 06:07 JFK 09:07
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86