同样的 AI 应用。火山引擎的 token。用的飞快。不知道怎么回事。 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
shebaoting

同样的 AI 应用。火山引擎的 token。用的飞快。不知道怎么回事。

  •  
  •   shebaoting 2025 年 2 月 23 日 3805 次点击
    这是一个创建于 426 天前的主题,其中的信息可能已经有所发展或是发生改变。

    字节跳动火山引擎的 token 。参加那个协作奖励计划,每天赠送 500 万 token 。我使用 python 并发请求。10 个并发。基本 2 个小时就用了 1000 万。也就是倒欠了 500 万的 token 。大概欠 9 块钱。

    但是用阿里百炼平台。之前赠送了我 1000 万的 token 。同样的 python 项目请求。同样的并发数量。用了 4 到 5 个小时。也没欠费,可能用光就停止了。

    是啥原因?有其他人遇到过吗?难道是火山引擎的应答速度更快?我也没感觉和阿里云差别有多少啊。

    14 条回复    2025-02-25 10:25:03 +08:00
    GlobalNPC
        1
    GlobalNPC  
       2025 年 2 月 23 日
    好歹也列一下请求的什么模型,什么参数吧
    zqqian
        2
    zqqian  
       2025 年 2 月 23 日
    字节的机器性能高,速度快,所以 token 用的飞快
    ttkit
        3
    ttkit  
       2025 年 2 月 23 日
    接口里没响应用的 token 数?没有代码你说这有什么用。
    shebaoting
        4
    shebaoting  
    OP
       2025 年 2 月 23 日
    deepseek v3 默认参数。没配置。并发是 10 个并发。
    shebaoting
        5
    shebaoting  
    OP
       2025 年 2 月 23 日
    @ttkit 关键是同样的代码啊。和代码有关系吗?
    shebaoting
        6
    shebaoting  
    OP
       2025 年 2 月 23 日
    @zqqian 我也在想是不是这个原因。
    keller
        7
    keller  
       2025 年 2 月 24 日
    记录一下每次请求的 输入输出 token ,自己统计一下。
    visper
        8
    visper  
       2025 年 2 月 24 日
    字节: 我速度快也有错?
    SakuraYuki
        9
    SakuraYuki  
       2025 年 2 月 24 日
    现在 llm 最不透明的就是 token 的消耗量了,你也不知道到底是机器性能高消耗的多还是什么别的原因
    Morriaty
        10
    Morriaty  
       2025 年 2 月 24 日
    你看下接口返回的 tokens 消耗啊,部分接口还有命中的 cache tokens 返回
    Rrrrrr
        11
    Rrrrrr  
       2025 年 2 月 24 日
    我看了一下,10 来个问题,用了 5 万 token ,联网的。大概 4-5ktoken 一次?
    DIO
        12
    DIO  
       2025 年 2 月 24 日
    阿里对高并发的控制理论上是更好的,双十一,支付宝的技术积累。
    thevita
        13
    thevita  
       2025 年 2 月 24 日
    提供一点信息: https://www.volcengine.com/docs/82379/1346560

    火山引擎好像是要手动管理 cache 的,大概看了下,好像没说 completions 会自动给 prefix cache ,未验证,仅提供方向,看看 你 api 的 usage 有没有命中咯
    shebaoting
        14
    shebaoting  
    OP
       2025 年 2 月 25 日
    不过目前对火山,阿里云,腾讯云的体验下来。火山的对开发者的体验做的是比较好的。速度,功能设计,引导,都不错。其次是阿里云,阿里云目前头疼的是你不知道自己用了多少 token ,只能盲等账单结算。
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     1796 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 61ms UTC 00:01 PVG 08:01 LAX 17:01 JFK 20:01
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86