求稳定的自建 chatgpt api 中转服务的方法 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
caneman
V2EX    OpenAI

求稳定的自建 chatgpt api 中转服务的方法

  •  
  •   caneman 2023-11-20 10:36:36 +08:00 5159 次点击
    这是一个创建于 736 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前的方案是高质量机场 + openclash ,给境内服务器上的 api 服务提供梯子环境

    整体用了挺久的,成本可控,缺点就是受梯子稳定性影响比较大,偶尔有个波动抽风

    能想到的最好的方案

    1. 境外服务器直接搭

    2. Azure

    假想会遇到的问题

    1. 首先 Azure 和 opnai 官方的接口的形式是不太一样的,而且模形似乎也有出入,不想用 Azure .

    2. 境外服务器的话有两个问题

      1. 一个是 服务器-> openai ,这段是有阻断风险的,据我所知有些主机商的机子是访问不的 openai 的,还要考虑到现在不阻断以后会不会阻断的问题,综合成本 & 稳定性 & 速度的话,不知道有没有推荐的?

      2. 境内 -> 服务器,这段一般没问题,不过也有阻断的风险,也要降低。

    其他补充

    小团队自用,规模不大,并发不高,不对外开放,不盈利。

    考虑到数据隐私问题,第三方 api 服务不考虑。

    24 条回复    2023-11-26 13:08:17 +08:00
    jmljava
        1
    jmljava  
       2023-11-20 10:46:56 +08:00
    可以搞个搬瓦工的小服务器做转发,做好访问设置问题不大,速度还挺好
    Solix
        2
    Solix  
       2023-11-20 10:55:12 +08:00
    API 除了不可用地区的服务器不能用之外,没其他限制
    caneman
        3
    caneman  
    OP
       2023-11-20 11:02:11 +08:00
    @jmljava 以前每次严打的时候,搬瓦工的节点就爱抽风,还以为他不靠谱。老哥用多久了,openai 会封号嘛?
    hahiru
        4
    hahiru  
       2023-11-20 11:08:10 +08:00
    自建 API 平台,比如 oneapi ,然后中转用 verge 。
    目前自用很稳定。
    hahiru
        5
    hahiru  
       2023-11-20 11:09:22 +08:00
    @hahiru #4 勘误:是 vercel 反向代理。
    freshgoose
        6
    freshgoose  
       2023-11-20 11:10:19 +08:00   1
    用一个国内域名指向境外主机,该主机内用 nginx 转发到 openai ,你只需要配置一个 nginx 就行了……
    jmljava
        7
    jmljava      2023-11-20 11:25:37 +08:00
    @caneman 服务器只做代理转发应该问题不大,封号也会封,不过我经历的都是 openai 大规模封号那种,应该不是因为代理访问的问题
    caneman
        8
    caneman  
    OP
       2023-11-20 11:48:16 +08:00
    @freshgoose 境外主机有啥推荐的吗?
    limfoo1
        9
    limfoo1  
       2023-11-20 13:55:47 +08:00
    1. cloudflare worker api 反代;
    2. cloudflare AI gateway ,但是 x 上有人说会漏 IP 导致封号。
    cheng6563
        10
    cheng6563  
       2023-11-20 14:30:10 +08:00
    cloudflare worker 直接反代了。。。都不用服务器
    caneman
        11
    caneman  
    OP
       2023-11-20 14:47:19 +08:00
    @cheng6563
    @limfoo1

    稳定吗?链接超时之类的,对稳定性有一定要求
    zhaoweihao
        12
    zhaoweihao  
       2023-11-20 15:02:29 +08:00
    这不买个 chatgpt plus 然后团队内共享账号就可以了吗
    walle1530
        13
    walle1530  
       2023-11-20 15:35:11 +08:00
    反过来了,我是用了半年多境外服务器,阿里和腾讯的,最近非常不稳定,丢包严重,于是乎现在换到了物理机+代理,十多天了还挺稳
    caneman
        14
    caneman  
    OP
       2023-11-20 15:55:47 +08:00
    @zhaoweihao

    目前是用的 API ,几十个人的规模吧,共享帐号不是很合适
    caneman
        15
    caneman  
    OP
       2023-11-20 15:57:45 +08:00
    @walle1530

    这样的吗?我们目前是代理方案,用了有半年了,但是代理有时候还是会抽风的。

    是不是会有 timeout 之类的问题,还想着切到境外服务器会不会稳一些
    uRQDd07Pt2UWOtOF
        16
    uRQDd07Pt2UWOtOF  
       2023-11-20 16:24:26 +08:00
    https://open-assistant.cn 建议看看,可以邮件联系,独立部署,我们这边每天 300 美元左右的服务,使用的是这个系统
    lekai63
        17
    lekai63  
       2023-11-20 16:48:43 +08:00
    cf-worker 反代 最近有个问题:cf 会强制给你带上 cf-connect-ip 附上你的真实 ip 。 然后 openai API 那边会 ban 掉你。
    当然,也可能是因为我直接用 cf 的 ai gateway 的缘故。

    反正现在我转到 render 部署 openai-forward 了
    walle1530
        18
    walle1530  
       2023-11-20 17:22:55 +08:00
    @caneman 反正我用阿里腾讯的是不稳,代理的话要看机场质量,我现在用的还可以
    czy0612
        19
    czy0612  
       2023-11-20 17:42:16 +08:00
    测试过 cf-worker 、腾讯云函数、日本搬瓦工 自建 caddy 反代
    稳定性 自建反代 > 腾讯云函数 > cf-worker
    a342191555
        20
    a342191555  
       2023-11-20 18:01:45 +08:00
    我用的是 Cloudflare CDN + 腾讯云 lightsail 日本 + 八爷的 opencat 反代,已稳定工作半年有余,数据量不小,偶尔会有波动,但绝大多数情况下是正常的
    C603H6r18Q1mSP9N
        21
    C603H6r18Q1mSP9N  
       2023-11-20 21:34:32 +08:00
    我们直接用第三方,价格基本是官方的 1.5 倍,支持 GPT4/ gpt-4-vision-preview, 量不大感觉蛮方便的
    现在用的 https://api2d.com/r/201633
    有 REFFER ,不喜删了即可
    feiriu
        22
    feirisu  
       2023-11-21 11:04:00 +08:00
    我用的阿里云云函数
    1044523901
        23
    1044523901  
       2023-11-25 21:08:11 +08:00
    op 解决了? 最后采用啥方案
    caneman
        24
    caneman  
    OP
       2023-11-26 13:08:17 +08:00
    @1044523901 目前还是 clash + 机场的组合,境外服务器的看上面 v 友的说法也有波动问题,打算多找几个服务器试试
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3060 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 25ms UTC 12:53 PVG 20:53 LAX 04:53 JFK 07:53
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86