要不要拥抱大模型推理,求点醒 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
songlinliee
V2EX    职场话题

要不要拥抱大模型推理,求点醒

  •  
  •   songlinliee 2024-05-22 10:28:05 +08:00 2608 次点击
    这是一个创建于 511 天前的主题,其中的信息可能已经有所发展或是发生改变。

    我在读研期间,一直在芯片公司做一些编译器或者推理加速相关的工作,做过模型压缩,算子融合,动态算子相关的一些工作,但是一直在做单机单卡上相关的工作,这是我的一些背景。

    去年大模型火了以后多了很多大模型的机会,我本来以为这个岗位需求量会很大,但是实际秋招的时候,很多芯片公司在这个方向上招人都是个位数,虽然也可以硬蹭互联网还有一些纯 AI 初创,但是招人也特别少,而且因为急着出成果,都希望招资深工程师,在初期别人大厂各种乱杀的时候,只有自动驾驶的一些公司给了一些机会,后来运气不错又拿了一些大厂做大模型推理团队的 offer ,目前在去苏州做 ADAS 类似嵌入式的工作和去上海做大模型推理之间摇摆,上海总包多将近 20 ,但是我还是有一些担心的点。

    1. 推理优化的手段真正有效的其实有限,每个公司在这个方向几乎只有十几人的小组在做,我不确定以后跳槽坑位是否足够。
    2. 现在大模型越来越火,入行的人的资历也越来越好,动辄系统方向的顶会,优秀的开源项目,反观我只有一些实习的经验,对比之下,感觉压力很大。
    3. 经历了芯片赛道的狂热到现在的业务收缩以后,曾经我也以为算力是基本,做芯片行业肯定能温饱不愁,现在持相反态度,我感觉大模型以后一定是个好方向,但是对于从业者却未必友好。

    而去外企做嵌入式就没啥太多想法了,苏州家里可以支持买房,可以生活的比较舒服,工资也算给的足够多,如果算上女朋友加起来收入和上海持平(因为女朋友在上海只有银行的选择收入比较低)。

    两边都有被裁风险,苏州这边做嵌入式的公司相对应该更多一点,缺点就是确实不太喜欢嵌入式,对汽车的软件开发也喜欢不起来,但是可以克服;而且也不一定稳定,加班也不怎么少。

    总之,感觉选哪边都会后悔,经历了一段时间的决策,包括家庭等因素进去,更加不知道如何选择,希望删繁就简,仅从方向和城市的角度请各位大佬给点意见。

    15 条回复    2025-03-20 11:25:37 +08:00
    zizon
        1
    zizon  
       2024-05-22 11:40:50 +08:00
    没有什么是长青的,看自己兴趣能不接受以及可能更重要的,哪个的收入回报比较容易保证温饱.
    songlinliee
        2
    songlinliee  
    OP
       2024-05-22 14:15:47 +08:00
    @zizon 谢谢大佬,温饱问题应该都没问题,只是不确定要不要赶一下大模型这个风口,比较纠结生活质量和机会成本之间的平衡,苏州大概能有 35 的总包,上海大概是 55 左右。
    bugu1986
        3
    bugu1986  
       2024-05-22 14:19:20 +08:00 via iPhone
    你是大佬 我目前初学
    tomatocici2333
        4
    tomatocici2333  
       2024-05-22 14:21:06 +08:00
    大模型肯定是没问题的,政策上现在也支持
    kera0a
        5
    kera0a  
       2024-05-22 14:23:28 +08:00 via iPhone
    让你女朋友决定
    lambdaq
        6
    lambdaq  
       2024-05-22 14:24:50 +08:00
    感觉大模型是赢家通吃。
    allen0125
    &nsp;   7
    allen0125  
       2024-05-22 17:08:31 +08:00   1
    业务爆发增长等不及你完成你的推理加速相关工作就得加机器,业务不增长你吧推理加速相关工作做完了也救不了业务。如果你在做业务支持相关工作之外还有精力可以顾及一下这方面,那会是加分项,否则选择这个方向的工作会给自己的未来埋坑。
    LiuN1an
        8
    LiuN1an  
       2024-05-22 23:33:07 +08:00
    等会,哥们,你做大模型压缩,算子背景的,上海就开了年包 20 。。是少打了一个 0 么
    songlinliee
        9
    songlinliee  
    OP
       2024-05-23 01:34:34 +08:00
    @allen0125 是有这个担心,我一开始也觉得芯片厂会更有做推理加速的业务动力,但是看寒武纪还有各种 AI 初创的形式,感觉似乎并没有那么多需求能做。
    songlinliee
        10
    songlinliee  
    OP
       2024-05-23 01:35:07 +08:00
    @LiuN1an 不是,大佬你看错了,我是说上海比苏州多了 20 ,大概总包在楼里回复了
    shm7
        11
    shm7  
       2024-05-23 10:30:19 +08:00   1
    不仅仅大模型需要部署和推理优化,其他的模型也需要的。各家大公司都有名额。
    嵌入式回苏州也是一个平安的办法,苏州是否还有很多汽车产业,这方面是否工作机会多。
    songlinliee
        12
    songlinliee  
    OP
       2024-05-28 20:45:12 +08:00
    @shm7 谢谢大佬。汽车行业昆山那边机会相对多一点,但是外企技术有限,真的想跳槽估计也只能靠自己打磨技术了。
    Ethkuil
        13
    Ethkuil  
       228 天前
    请问最后选择去了哪家?我目前情况类似,也很纠结。
    songlinliee
        14
    songlinliee  
    OP
       226 天前
    @Ethkuil 还是向钱看齐吧,只能说现在有些后悔,但是也不知道选了另一条路会不会更好...
    Ethkuil
        15
    Ethkuil  
       209 天前
    @songlinliee #14 为什么觉得后悔呢?是压力太大了没?
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     3791 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 27ms UTC 10:19 PVG 18:19 LAX 03:19 JFK 06:19
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86