体验 llama3 系列的速度吧 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
ProxyXAI

体验 llama3 系列的速度吧

  •  
  •   ProxyXAI
    proxyxai Apr 25, 2024 3679 views
    This topic created in 732 days ago, the information mentioned may be changed or developed.
    Supplement 1    Apr 25, 2024
    抱歉流量超级大.... 不得已限流 3 次/分钟
    Supplement 2    Apr 25, 2024
    10 次/分钟
    Supplement 3    Apr 26, 2024
    需要 API 的, 请联系 wx: proxyxai
    Supplement 4    Apr 26, 2024
    支持无上限多个 keys 轮询, 理论请求无上限, 取决于带宽瓶颈 和 keys 数量
    29 replies    2024-04-25 21:56:46 +08:00
    bearqq
        1
    bearqq  
       Apr 25, 2024   1
    点之前:本来一脸不屑
    点之后:卧槽?????????
    junan
        2
    junan  
       Apr 25, 2024
    试了几次后和#1 一样的反应
    hooych
        3
    hooych  
       Apr 25, 2024 via iPhone
    速度确实嘎嘎快,GPT 是便秘,这个有种一泻千里的畅快感
    qinfengge
        4
    qinfengge  
       Apr 25, 2024
    G 了,一直请稍后再试
    xier9213
        5
    xier9213  
       Apr 25, 2024
    速度确实快,就是太不稳定了
    zsxzy
        6
    zsxzy  
       Apr 25, 2024
    用什么 gpu 跑的, 我用笔记本的 3060 6G, 好慢
    Goghho
        7
    Goghho  
       Apr 25, 2024 via iPhone
    @zsxzy 这么快感觉就是 groq 吧
    hebwjb
        8
    hebwjb  
       Apr 25, 2024
    挂了
    djangovcps
        9
    djangovcps  
       Apr 25, 2024
    fredweili
        10
    fredweili  
       Apr 25, 2024
    8b 的本地跑,效果已经不错了
    nwg
        11
    nwg  
       Apr 25, 2024
    我擦 这么快
    itskingname
        12
    itskingname  
       Apr 25, 2024
    用 groq ,速度可以达到 700Token/s ,已经没有必要使用 Stream 模式了。
    maolon
        13
    maolon  
       Apr 25, 2024 via Android
    是 groq 快不是 llama3 快吧...用其他方式 host 速度跟其他模型差不多
    param
        14
    param  
       Apr 25, 2024 via Android
    @hooych gpt 用最低配的 ada 一样很快
    lizhisty
        15
    lizhisty  
       Apr 25, 2024
    怎么挂了啊
    coolair
        16
    coolair  
       Apr 25, 2024
    请稍后再试!
    coderluan
        17
    coderluan  
       Apr 25, 2024
    你们说的快不是瞬间就输出 “请稍后再试” 吧
    ktqFDx9m2Bvfq3y4
        18
    ktqFDx9m2Bvfq3y4  
       Apr 25, 2024
    没有背后的总算力就说快就是流氓,要我说我还能说我的 GPT4 上午使用时相当快,又聪明又快,比 3.5 还快。那明显是因为那时用量低,算力足啊。
    hooych
        19
    hooych  
       Apr 25, 2024
    @hebwjb
    @djangovcps
    @lizhisty
    @coolair
    @coderluan 左下角切换模型
    huzhizhao
        20
    huzhizhao  
       Apr 25, 2024
    请稍后再试!
    hooych
        21
    hooych  
       Apr 25, 2024
    真的崩了,笑 cry
    feiniu
        22
    feiniu  
       Apr 25, 2024
    崩了
    abchehehe32
        23
    abchehehe32  
       Apr 25, 2024
    速度是真的可以,马上就告诉我“请稍后再试!” (手动狗头)
    HomeZane
        24
    HomeZane  
       Apr 25, 2024
    请稍候再试的速度贼快
    luzemin
        25
    luzemin  
       Apr 25, 2024
    回复的非常快,就是回复内容比较固定:
    请稍后再试!
    ProxyXAI
        26
    ProxyXAI  
    OP
       Apr 25, 2024
    抱歉流量超级大.... 不得已限流
    ihainan
        27
    ihainan  
       Apr 25, 2024
    试了一下,的确好快……
    dobelee
        28
    dobelee  
       Apr 25, 2024
    速度确实快,瞬间回答 请稍后再试!
    deorth
        29
    deorth  
       Apr 25, 2024 via Android
    好弱智啊。。。
    About     Help     Advertise     Blog     API     FAQ     Solana     5391 Online   Highest 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 79ms UTC 03:50 PVG 11:50 LAX 20:50 JFK 23:50
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86