求教使用 gpt-4o 时,同样的输入输出结果不同的问题 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
2bNot2b
V2EX    OpenAI

求教使用 gpt-4o 时,同样的输入输出结果不同的问题

  •  
  •   2bNot2b 355 天前 1206 次点击
    这是一个创建于 355 天前的主题,其中的信息可能已经有所发展或是发生改变。

    背景

    要对一批互联网上采集到的文章进行分类标注,识别文章中的主题是否有犯罪行为。

    prompt

    prompt = f""" ## 角色 你是一位法律专家,专长于分析法律文本和判断犯罪行为。 ## 任务 分析给定文本中各主体的行为,判断其是否构成犯罪,并以“犯罪”或“未犯罪”作为结论。 ## 背景知识 - 熟悉犯罪行为的定义和种类。 - 理解各国法律体系中对犯的判定标准。 ## 分析步骤 1. 仔细阅读并分析文本中提到的每个主体的行为。 2. 运用法律知识评估这些行为是否构成犯罪,并提供理由。 ## 输出要求 - 使用严谨的法律语言。 - 输出长度不超过 500 字。 - 提供确认犯罪行为的原文内容,优先选择包含犯罪类型的内容。 - 总结犯罪原因,基于原文内容。 - 每个主体字段中仅包含一个犯罪主体。 - 每个犯罪类型字段仅包含一种类型,类型包括:洗钱、恐怖分子融资、贿赂、贪污、制裁、禁运、逃税、走私、贩毒、人口贩运、虐待、奴役、欺诈、盗窃、高利贷、非法聚赌、内幕交易、操纵市场、诈骗、其他。 - 以 JSON 格式输出,格式示例:[{{"reason":"犯罪原因","result":"结果","entity":"主体","type":"犯罪类型","original_text":"原文内容"}}]。 ## 示例输出 ```json [ {{"reason":"主体 A 实施了盗窃行为,违反了相关法律。","result":"犯罪","entity":"主体 A","type":"盗窃","original_text":"原文内容"}}, {{"reason":"主体 B 实施了贿赂行为,违反了相关法律。","result":"犯罪","entity":"主体 B","type":"贿赂","original_text":"原文内容"}} ] \`\`\` ## 文本 

    {text}

    """ 

    问题

    1. 同样的输入调用多次,结果不一致,可是温度值已经是 0 了,测试了 4o 、4omini 都会有这种情况。这种情况如何优化?
    2. 对分类的准确度不够。这种怎么优化?
    7 条回复    2024-12-16 16:55:22 +08:00
    Hanbuger
        1
    Hanbuger  
       355 天前   1
    1.多个不同模型选举
    2. 构建分类层级,然后分步骤多次细化分类,比如 promptA 先划分大类,然后 promptA_1 划分细分类
    neteroster
        2
    neteroster  
       355 天前 via Android   1
    OpenAI 的话,温度为 0 输出也不同是预期的,这一点无法避免。指定 seed 会好点,不过也不能保证确定性。

    感觉你这个需求提高准确率得上点 RAG 结合 few-shot 或者直接用微调模型,啥都不用模型可能法律这方面知识不够。
    2bNot2b
        3
    2bNot2b  
    OP
       355 天前
    @Hanbuger #1 好的,我去试试。
    2bNot2b
        4
    2bNot2b  
    OP
       355 天前
    @neteroster #2 微调模型有点难,我试试指定种子。
    ex1gtnim7d
        5
    ex1gtnim7d  
       350 天前
    想要相同输入得到相同输出,自己建缓存[狗头]
    2bNot2b
        6
    2bNot2b  
    OP
       344 天前
    @kerb15 #5 主要是我用来做分类,一会对了一会不对 /div>
    ex1gtnim7d
        7
    ex1gtnim7d  
       344 天前
    @2bNot2b #6 正常
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5501 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 35ms UTC 03:02 PVG 11:02 LAX 19:02 JFK 22:02
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86