我是国内的 NLP 从业者,大模型这一波风吹过来了,在公司做大模型感觉前途未卜的样子 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Xealml
V2EX    自然语言处理

我是国内的 NLP 从业者,大模型这一波风吹过来了,在公司做大模型感觉前途未卜的样子

  •  
  •   Xealml 2023-11-09 15:43:09 +08:00 4808 次点击
    这是一个创建于 701 天前的主题,其中的信息可能已经有所发展或是发生改变。

    openAI 的发布会让无数创业公司直接死亡,大模型直接席卷 NLP ,CV ,语音,国内相关的从业者的未来是什么,很是迷茫,求大家指教

    21 条回复    2024-06-26 13:43:10 +08:00
    zsj1029
        1
    zsj1029  
       2023-11-09 16:42:12 +08:00
    不要调用 api ,只做上层应用
    gps949
        2
    gps949  
       2023-11-09 16:46:48 +08:00
    短期内,还可以继续卷算法,吹吹牛皮,做出特点。
    中期内,拼的是特色应用、数据源(知识库)壁垒。
    长期看,无论算法还是应用都会被破掉,唯有算力(生产资料、资本)常在
    zjsxwc
        3
    zjsxwc  
       2023-11-09 16:47:53 +08:00
    赢者通吃的游戏。
    paopjian
        4
    paopjian  
       2023-11-09 17:20:26 +08:00
    只要有墙,靠国别墙立起来的科技公司就能苟延残喘
    majianglin
        5
    majianglin  
       2023-11-09 18:16:57 +08:00
    正好相反,大公司只能做通用的东西,他们把这个潮流带起来之后

    很多机构就会有定制自己 AI 的需求,这就是前 20 年的 IT 业一样。比如定制自己公司的客服,那就需要微调人员

    相反,不会玩大模型的人才会被 AI 取代
    keepRun
        6
    keepRun  
       2023-11-09 19:57:53 +08:00
    长远来看,数据价值才是可以积累的,你有别人没有的数据才是最重要的。
    PinkPumpkin
        7
    PinkPumpkin  
       2023-11-09 19:59:52 +08:00
    @majianglin OpenAI 刚开的发布会讲的重点就是就是个性化模型,自己可以简单的定制模型,或者他们帮你用大量数据微调
    keepRun
        8
    keepRun  
       2023-11-09 20:03:22 +08:00
    微信公众号里有很多优质文章,以后微信必然会拿这些数据喂 ai ,再通过各种手段限制其它大厂获取它的数据,这样优势就产生了,别的厂商敢偷爬数据就会被告。
    我认为 ai 的出现会进一步提升数据的优势,以后谁能拿到别人拿不到的数据才是最重要的,想想看,以后的生成式人工只能如果连你看了哪些文章都能获取到。
    想想这么个场景:
    我:帮我规划下我的旅游计划
    ai:好的,根据你最近几天在手机上浏览的三亚旅行相关文章,我给你提供了几条你感兴趣的线路,你可以看下....


    事实上掌握了用户的行为习惯的数据的 ai 可以更加智能,连你了解了什么都知道,你就不用说那么多话来告诉 ai 该怎么做了,因为 ai 一直在看着你,再叠加上未来的物联网、智能家居,你的一举一动都可以输入 ai ,必然会诞生超级智能的助手,而别的竞争对手拿不到这些数据你就没办法做到这么智能。
    pixelbook
        9
    pixelbook  
       2023-11-09 20:25:16 +08:00
    去年年底 NLP 已经被大模型卷死了。。打不过就加入
    vToExer
        10
    vToExer  
       2023-11-09 21:00:30 +08:00
    同为前 NLP 已失业。。迷茫不知出路何在
    majianglin
        11
    majianglin  
       2023-11-10 09:56:04 +08:00
    @lbingl 微调也是需要技术的。

    另外还会有针对公司业务的专有模型,比如军方要设计一个风洞模型,核打击模型,汽车公司要做一个自动驾驶模型,金融部门要做一个风险监控模型,舆论监管部门要做一个自动舆论监控与引导模型

    上面这几个例子 ChatGPT 目前是做不了的,未来 2-3 年有可能能做,但是不会让他做的

    还有目前的大模型太依赖算力,太依赖大量的数据。降低算力要求,像人类一样自主学习,学习人类的情感,学习人类的思维跳跃和创新能力,能做的事情太多了

    新技术会带来新机会,至于机会是什么,就看大家怎么把控了。未来必然属于乐观者
    PinkPumpkin
        12
    PinkPumpkin  
       2023-11-10 15:27:32 +08:00   1
    @majianglin 首先你说的那几个领域的模型你觉得能用 gpt 的 decoder only 结构做不。而且楼主说的 nlp ,cv ,speech 这些领域,确实有一个好的通用模型就可以解决 80% 的问题了,现在可以个性化定制后解决 95% 都可以。
    另外微调很简单,对于大部分小公司,有了数据跑一遍 lora 就完事,之后有能力再过一遍强化学习。但是现在的开源模型加 lora 微调的效果根本就和 OpenAI 的没法比,原因是基础模型太烂了,再微调有什么用。
    我也是大模型从业者,也调过大语音模型,国内最利好的地方就是有墙,用不了 OpanAI 的产品。
    cryptogems
        13
    cryptogems  
       2023-11-11 23:43:07 +08:00
    @keepRun 哈哈哈,想法没问题,但是真的看笑了,国内这些垃圾公司的臭不要脸行为已经被大家默许了 lol
    keepRun
        14
    keepRun  
       2023-11-12 01:08:49 +08:00
    @cryptogems 我打赌,10 年后必然会有类似行为,用户的数据在手上厂商不可能不拿来喂 ai
    Xealml
        15
    Xealml  
    OP
       2023-11-13 13:37:28 +08:00
    @zsj1029 哎,算法工程师还是需要一些壁垒,现在看应用层真没啥壁垒
    Xealml
        16
    Xealml  
    OP
       2023-11-13 13:37:57 +08:00
    @gps949 感觉中期看也不是很稳啊
    clockwise9
        17
    clockwise9  
       2023-12-24 03:10:47 +08:00
    @Xealml 算法除了增效还可以降本。毕竟目前大模型的单次推理开销还是很大的,如果不是很重要的任务,直接用大模型很可能是划不来的。
    sch1111878
        18
    sch1111878  
       2024-02-19 16:20:11 +08:00
    @gps949 大哥真的厉害
    sch1111878
        19
    sch1111878  
       2024-02-19 16:22:40 +08:00
    @vToExer 请教为什么会失业, 是大模型或者 AI 覆盖了从业场景吗?
    yudoo
        20
    yudoo  
       2024-03-25 10:39:48 +08:00
    @vToExer nlp 薪资怎么样, java 从业者还想转行呢
    Dimen61
        21
    Dimen61  
       2024-06-26 13:43:10 +08:00
    @gps949 #2 老哥真的有洞见!
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     2524 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 24ms UTC 15:27 PVG 23:27 LAX 08:27 JFK 11:27
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86