为什么相同的提问, API 和聊天窗口的回答不一样? - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
rossroma
V2EX    程序员

为什么相同的提问, API 和聊天窗口的回答不一样?

  •  
  •   rossroma 2024-04-28 15:04:30 +08:00 2377 次点击
    这是一个创建于 535 天前的主题,其中的信息可能已经有所发展或是发生改变。
    最近打算利用 gpt 的能力开发一个翻译插件,于是在 coze 上进行调试,聊天窗口的回答就是我预期的样子。
    https://imgur.com/oKs2McL.png

    但是同样的问题,通过 API 调用的话,回答的结果却变了。这是什么原因?我用国内的 kimi ,也是 API 的答案有问题。
    https://imgur.com/ScQZGQt.png
    13 条回复    2024-05-03 17:42:52 +08:00
    seers
        1
    seers  
       2024-04-28 15:32:13 +08:00 via Android
    有时候窗口会有隐藏参数,提示词之类的
    cheng6563
        2
    cheng6563  
       2024-04-28 15:47:08 +08:00
    默认提示词不同呗,然后温度也可能不同。
    hnliuzesen
        3
    hnliuzesen  
       2024-04-28 15:53:14 +08:00
    还可能是聊天用的模型和 API 的模型版本不一样
    fusi
        4
    fusi  
       2024-04-28 15:53:18 +08:00
    你同一个问题,分两个会话问,响应的结果也有可能出现差异,毕竟这是生成,没有固定的谜底
    Subfire
        5
    Subfire  
       2024-04-28 15:56:23 +08:00
    如果回答一样才奇了怪了, 追求幂等?
    rossroma
        6
    rossroma  
    OP
       2024-04-28 16:01:04 +08:00
    @hnliuzesen 我是用的相同的 bot 去调试的,Prompt 也是我自己写的,理论上应该一致才对。
    hnliuzesen
        7
    hnliuzesen  
       2024-04-28 17:20:38 +08:00
    @rossroma 我没有用过 coze ,你的 bot 在搭建的时候能设置调用 OpenAI 接口的 temperature 与 top_p 参数么?这两个参数会影响响应结果的随机性。如果不能设置走的是默认值的话,每次回答都是不一样的。
    也不排除有可能在网页上提问,和使用 API 提问,最终发到 OpenAI 接口的参数有差异。
    clintme
        8
    clintme  
       2024-04-28 17:23:56 +08:00
    只有 temperature 值设置为 0 才每次给出同样的结果
    pikachu233
        9
    pikachu233  
       2024-04-28 17:23:57 +08:00
    你去看看 gpt 的开发文档,参数可比你想象的多,如果模型一样回答不一致的话,一定是参数不一样
    adgfr32
        10
    adgfr32  
       2024-04-28 19:41:07 +08:00
    system prompt 不一样, 可以看成网页其实也是调 api 的, 但是网页被设计了自己的参数
    rossroma
        11
    rossroma  
    OP
       2024-04-28 20:14:58 +08:00
    这是 coze 小助手给的回答:
    Coze 平台确保了您在聊天窗口和 API 调用之间的结果应该是相同的。如果您发现有差异,可能是由于以下几个原因:
    1. Context:聊天窗口中的上下文(如前一个问题的回答和 bot 的状态)在 API 调用中可能没有。
    2. Settings:API 调用可能有不同的参数。
    3. 更新:如果您在测试 bot 之后更改了 bot ,可能需要重新发布才能在 API 调用中看到更改。
    我建议您检查上述可能的因素,查明情况。如果问题依然存在,您可以查阅我们的 Coze 官方文档获取更多信息,或者在我们的官方社区( Discord: https://discord.gg/xDQKpAKEFX, Telegram: https://t.me/+m7bX9D4WjV4yMzgx )上寻求帮助。

    这 3 个问题我都排查过了
    owen21
        12
    owen21  
       2024-05-01 12:19:40 +08:00
    为全一样的话,prompt 就不可咒语了。。。 目前来说,这玩意就非程序化,一样的输入得不到一致的结果,如果结果总是一样,那就叫程序,不叫 AI.
    dcrdw
        13
    dcrdw  
       2024-05-03 17:42:52 +08:00 via Android
    api 有个参数叫 send ,这个决定了每次一样的对话回复内容的相似度
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5211 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 32ms UTC 05:44 PVG 13:44 LAX 22:44 JFK 01:44
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86