想白嫖点大模型的 api - V2EX
请不要在回答技术问题时复制粘贴 AI 生成的内容
wencan

想白嫖点大模型的 api

  •  
  •   wencan Jun 6, 2024 6169 views
    This topic created in 704 days ago, the information mentioned may be changed or developed.

    用来翻译几页文档。后面应该还会要。不是提供在线服务,就是电脑上手动执行脚本。

    开源的小 size 模型,担心翻译质量。大 size 模型,机器也跑不起来。只能指望在线的了。

    翻译质量好的模型,好像就是 Gemini 和 ChatGPT 。

    试了 Gemini api ,说是限制每分钟 60 ,但实际限得很死。我每次请求前加了 sleep 10 ,请求两次,就报 RESOURCE_EXHAUSTED 。

    OpenAI 的 api ,没记错的话,是一次性赠送多少 token 。只怕不够用。

    准备试试百度免费的 api 。

    不知道有没有什么好开源程序,包装各大模型的 web 页面,提供接口?

    看大家有没有什么好的解决方案。

    36 replies    2024-06-08 19:06:07 +08:00
    ruidoBlanco
        1
    ruidoBlanco  
       Jun 6, 2024
    deepinfra llama3 70b 可还行?
    wencan
        2
    wencan  
    OP
       Jun 6, 2024
    @ruidoBlanco 这货怎么白嫖?原版 llama3 对中文支持不太好吧?
    ruidoBlanco
        3
    ruidoBlanco  
       Jun 6, 2024
    我记得注册就有一点点美刀,但是足够跑很多很多了。

    中文支持的事情我从来没考虑过。
    issakchill
        4
    issakchill  
       Jun 6, 2024
    百度 api 用 one api 转接 或者买点 depseek 的
    morty2
        5
    morty2  
       Jun 6, 2024
    试试本人开发的,目前还没有正式上线,现在用白嫖的测试服务器(1g 内存):wanxangtrans.com 。 可以不用登录免费使用,支持自定义 api key 。
    LittleYangYang
        6
    LittleYangYang  
       Jun 6, 2024
    Deepseek 和 Qwen 现在都挺便宜的,1M Token 也就一块钱作用,效果还行
    LittleYangYang
        7
    LittleYangYang  
       Jun 6, 2024
    @LittleYangYang 作用->左右
    kneo
        8
    kneo  
       Jun 6, 2024 via Android
    翻译已经是最简单的任务了。大模型要是连翻译都做不好就可以倒闭了。
    EmbraceQWQ
        9
    EmbraceQWQ  
       Jun 6, 2024
    自己搭的 https://chat1024.tthym.cn 每天 20 次左右,不过没有上传文件,不嫌弃可以试试
    ZnductR0MjHvjRQ3
        10
    ZnductR0MjHvjRQ3  
       Jun 6, 2024
    月之暗面 注册送十五块钱
    wencan
        11
    wencan  
    OP
       Jun 6, 2024
    @kneo 国内某知名大模型,把 Socket 翻译为套接口。你还不好说翻译错了。
    secsilm
        12
    secsilm  
       Jun 6, 2024
    说大模型能做好翻译的,怕是没用过几次。
    secsilm
        13
    secsilm  
       Jun 6, 2024
    @secsilm #12 严谨点:说大部分大模型都能做好翻译的,怕是没用过几次。
    SkywalkerJi
        14
    SkywalkerJi  
       Jun 6, 2024 via Android
    @kneo 翻译实力差距很大的。而且已经有专攻翻译的大模型了。
    Azure99
        15
    Azure99  
       Jun 6, 2024
    noyidoit
        16
    noyidoit  
       Jun 6, 2024
    @kneo 你可以试下 llama ,用它进行英译中可以评价为完全不可用,但人家活得好好的
    kneo
        17
    kneo  
       Jun 6, 2024 via Android
    @noyidoit 本地小模型不用拿来说吧,根本上不了线,而且这是英语模型。

    线上能用的大场模型,有翻译做的很差的吗?比如通义千问,百川,火星,甚至 deepseek ?

    真心问,不是杠。我之前试过感觉都还行。不过我主要用 gpt3 ,国内模型确实用的不多。
    kneo
        18
    kneo  
       Jun 6, 2024 via Android
    @wencan 6 啊,我还真觉得比套接字翻译的好……
    Pteromyini
        19
    Pteromyini  
       Jun 6, 2024
    @wencan #2 原版对中文确实不太友好
    InkStone
        20
    InkStone  
       Jun 6, 2024
    如果量不大的话根本不需要考虑那么多……我天天用自己的 GPT3.5 token 跑沉浸式翻译,一个月的账单就十几块钱。这个开销跟免费也没啥区别了。
    leavebody
        21
    leavebody  
       Jun 6, 2024
    BernieDu
        22
    BernieDu  
       Jun 6, 2024
    @Azure99 基于 llama2 微调的?
    Metre
        23
    Metre  
       Jun 6, 2024
    https://github.com/LLM-Red-Team 看看这个
    Moonshot AI (Kimi.ai) 接口转 API kimi-free-api

    阶跃星辰 (跃问 StepChat) 接口转 API step-free-api

    阿里通义 (Qwen) 接口转 API qwen-free-api

    ZhipuAI (智谱清言) 接口转 API glm-free-api

    秘塔 AI (metaso) 接口转 API metaso-free-api

    讯飞星火( spark )接口转 API spark-free-api

    MiniMax (海螺 AI )接口转 API hailuo-free-api

    深度求索( DeepSeek )接口转 API deepseek-free-api

    聆心智能 (Emohaa) 接口转 API emohaa-free-api

    此外,我们提出一种可能的提高逆向成本的方案:ban-free-api
    nodesolar
        24
    nodesolar  
       Jun 6, 2024
    目前在白嫖百度和 gemini
    wencan
        25
    wencan  
    OP
       Jun 7, 2024
    @nodesolar 刚刚向 Google 上交了自己的信用卡号
    朋友你白嫖 gemini ,调用频率限制如何?
    nodesolar
        26
    nodesolar  
       Jun 7, 2024
    我几分钟调用一次 不存在超频
    hnliuzesen
        27
    hnliuzesen  
       Jun 7, 2024
    百度和腾讯的大语言模型有免费的 API ,不过如果做翻译的话,也可以直接白嫖他们的翻译接口
    https://cloud.tencent.com/product/tmt
    https://api.fanyi.baidu.com/api/trans/product/prodinfo
    Meteora626
        28
    Meteora626  
       Jun 7, 2024
    大模型做翻译 prompt 也要配套,要不然还真不如用普通翻译接口
    xxmaqzas
        29
    xxmaqzas  
       Jun 7, 2024
    我这有个不限量的白嫖 api
    BernieDu
        30
    BernieDu  
       Jun 7, 2024
    @kneo 你试过吗,Gemini 的免费 api 我试了,有请求限制,我 10 秒请求一次才勉强不报错,而且我翻译了 20 多种语言,经常有些单词或者句子翻译失败。 本地跑 llama3 8b. 效果更烂,但是 llama3 70b 效果特别好,基本都翻译出来了,而且本地用 ollama 的 api 免费,幸亏 Mac 买的 48g 内存
    wencan
        31
    wencan  
    OP
       Jun 8, 2024
    @Meteora626 是的,提示加会话
    wencan
        32
    wencan  
    OP
       Jun 8, 2024
    @BernieDu 你的 gemini 的打开方式不对
    1. 要氪金
    2. https://ai.google.dev/api/python/google/generativeai/ChatSession

    70b 的模型,占用多少内存?
    BernieDu
        33
    BernieDu  
       Jun 8, 2024
    @wencan gemini 6 月才支持的付费 api 把,gemini api 有时候翻译不出来,有时候把英语->乌克兰 翻译成了英文和中文,有时候把英语->泰语翻译为中文,40g
    wencan
        34
    wencan  
    OP
       Jun 8, 2024
    @BernieDu 有什么好推荐吗?今天试了 qwen2 70b ,同样的提示词,qwen2 幻觉很严重。
    wencan
        35
    wencan  
    OP
       Jun 8, 2024
    @BernieDu 70b 模型,是 llama.cpp 之类跑的吗? 多久响应请求?
    BernieDu
        36
    BernieDu  
       Jun 8, 2024
    llama3, 1 秒一句吧,我内存小,48g 的,勉强跑的。
    About     Help     Advertise     Blog     API     FAQ     Solana     1020 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 80ms UTC 22:11 PVG 06:11 LAX 15:11 JFK 18:11
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86