指挥 AI 做了一个 LLM API 网关

我缓缓打出了一个？

为什么我不直接用 oneapi newapi

@cryptovae #1 为了满足自己的需求，轻量化、低资源占用与保护真实的 apikey ；

负载均衡，透明重试，首字符超时，缓存识别，解码速度监控，模型别名，http 连接复用，绕过风控的多 key 轮训网络代理

我倒是有建议：
1 实现极高可靠性，可靠到你个人和服务器都被物理封禁，服务依然可靠稳定可用，换句话说可保证无视各家 api 地域政策保证可用性
2 实现 api 供应商的收款支付能力，这样就能构成一个 api 供给和采购的市场

@heimoshuiyu #3 解码速度监控和 http 连接复用加进来很不错。
我设计的目标是一个 LLM api 特化的 Nginx 透明代理类型的网关，用于保护与隐藏真实的 apikey ，网关中会拦截 LLM api 中的 apikey 、X-Forwarded-For 和 UA ，其他的都直接进行透传了，所以像重试、首字符超时这些都扔给使用 api 的 client 了；
加入负载均衡可能会导致 LLM 服务商的输入缓存失效，就没做这个功能了

我前一段也用 rust 的 Tauri 做了一个：
https://github.com/userfhy/SSLProxyManager-Tauri

@fhy1994 不好意思 没看仔细 我做的是一个通用的代理管理工具 O(∩_∩)O

这也是一个聚合层吗？现在好多聚合层了 metapi 、octopus 、Aether 、axonhub 都是，可以让 AI 参考他们的功能嘛~

当作一个练手项目我觉得是没问题的，造轮子的学习意义大于实用意义，市面上的确有成熟的方案前面的回复已经有人说了。

@HFX3389 #8 可以看作是 axonhub 这类平台的劣化版，好听点叫轻量化，设计目标就是一个轻量级的透明反向代理，针对 LLM 服务进行了特化定制，确实可以借鉴学习这几个项目中对边界的划分

@beyondstars #9 和市面上的成熟的平台化产品的叙事角度不太一样，我的设计目标是一个轻量化的透明反向代理，服务跑起来后只占用 20M Ram 和 0.5%的 Cpu ，不算是一个完全自嗨的玩具

好奇这个后台也是 AI 做的吗，包含登录注册吗？最近想做一个新的管理后台，需要从老的移植到新的，包括登录/权限，感觉 AI 做不了啊，

有意思~ 我可以试用一下吗 ？

@qwer666df 肯定可以啊