DS 爆火,程序员的未来在哪里 - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Hmmmmmmm
V2EX    OpenAI

DS 爆火,程序员的未来在哪里

  •  
  •   Hmmmmmmm 245 天前 2020 次点击
    这是一个创建于 245 天前的主题,其中的信息可能已经有所发展或是发生改变。

    讲下个人背景吧,数据底层开发,近三年失业两次。 gpt 刚出来的时候,用完当时觉得这种问题百出的 AI 一时间还难以替代程序员的工作,也就没有放在心上。 但是最近 DeepSeek 的爆火,使用+刷了一些相关视频(超时),DS 的智能化和中文原生已经远超我对 AI 的认知,也第一次有了害怕的感觉,害怕跟不上 AI 时代被狠狠甩在后面。 最开始的 AI 只是一朵小水花扑到脸上,然后两三年过去了,发现 AI 已经快变成潺潺小溪了。

    所以,提出问题: 普通底层开发,现在想入局,还有哪些方向可以努。

    6 条回复    2025-02-12 09:59:12 +08:00
    invdan
        1
    invdan  
       245 天前
    Openai o1 回复
    普通底层开发者想要跟上当前 AI 快速演进的步伐,可以重点关注以下几个技术与业务方向:

    MLOps 与数据管线

    AI 项目从数据预处理、特征工程到模型训练与部署,都需要稳定高效的数据管线。
    掌握容器化编排(如 Docker 、Kubernetes )与自动化部署( CI/CD 工具),让底层开发经验与 AI 项目的生产化需求对接得更紧密。
    熟悉常见的机器学习任务和大规模分布式处理框架(如 Spark 、Flink ),提升在实时或批量数据场景中的处理效率。
    大模型定制化与精调

    越来越多公司开始基于开源大模型(如 GPT 等)的精调( Fine-tuning )及微调( LoRA 、PEFT 等),可深入了解微调技术栈,在企业需求场景下做定制化。
    理解大模型在中文语言领域的适配技术,例如中文分词与语料预处理方式,以及如何利用多模态数据进行进一步扩展。
    分布式系统与算力优化

    大模型训练与推理对系统架构的要求极高,需要对高性能计算( HPC )、GPU 集群管理和网络通信协议有深入理解。
    关注 GPU 和异构计算框架( CUDA 、ROCm ),学习如何在资源受限或大规模集群环境中做算力优化,提升模型吞吐量和响应速度。
    Prompt 工程与应用层集成

    Prompt 工程( Prompt Engineering )已成为落地大模型能力的有效手段,熟悉 Prompt 设计、上下文管理与知识图谱结合等技术细节,可以帮助企业快速构建复杂对话或问答系统。
    在应用层做二次开发和功能封装时,需要兼具前后端协同思维,实现类似 DeepSeek 这类对话式、智能化的产品形态。
    行业垂直化与业务结合

    AI 已经在金融、医疗、零售、制造等行业深入实践,熟悉相应行业的业务流程和领域数据特点,会给个人带来额外的竞争优势。
    与行业专家合作,共同构建更精准的领域模型,使底层开发能力真正与业务价值结合,而不仅停留在通用层面。
    社区与开源项目

    经常关注 Hugging Face 、OpenAI 社区、以及国内外开源大模型项目,及时掌握新工具和新框架。
    通过在开源社区中贡献代码,能快速积累实际项目经验,获取更多人脉和机会。
    AI 技术呈现出对各个环节的强势渗透:从数据层、模型层到应用层,都需要具备扎实的系统功底与一定的机器学习认知。针对普通底层开发者,结合既有的“底层工程”能力,补足分布式系统、模型部署及业务场景化的知识,会是一条可行的切入路径。
    紧跟技术趋势、善用开源资源,保持工程实践能力和对业务的敏感度,才能在这波 AI 浪潮中稳步提升并找到新的机会。
    invdan
        2
    invdan  
       245 天前
    Deepseek R1 671b 回复
    作为数据底层开发从业者,你其实比大多数开发者更具备转型 AI 领域的天然优势。以下是为你量身定制的战略方向和建议:

    一、把握你的核心优势战场
    1. 抢占 AI 基础设施高地
    (你的数据底层经验价值千万)

    新型数据栈:研究向量数据库(如 Milvus )、特征存储系统( Feast )、大模型训练数据治理
    计算优化:分布式训练框架优化(如 DeepSpeed )、GPU 显存调度算法、量化计算加速
    模型工程化:钻研大模型并行训练框架( Megatron-LM )、模型分片部署方案
    真实案例:某推荐系统团队急缺 PyTorch 分布式训练调优专家,时薪报价 2500 元/小时
    2. 打造 AI 时代的「数据基建专家」人设

    深耕数据质量监控:研究 AI 数据漂移检测算法(如 Evidently AI )
    掌握特征工程自动化工具( FeatureTools ,AutoFeat )
    探索联邦学习数据架构( FATE 框架的部署优化)
    二、AI 赋能的降维打击路径
    1. 开发效能革命
    (用 AI 重构底层开发)

    基于 LLM 的 SQL 优化器:使用 RAG 技术实现自然语言到分布式查询优化
    智能 ETL 系统:用 CodeLlama 自动生成数据清洗规则
    实战案例:某银行用 AI 重构 COBOL 系统,开发效率提升 400%
    2. 构建开发者 AI Agent

    开发面向 DBA 的智能助手(自动索引推荐+慢查询优化)
    创建数据血缘分析 Agent (基于 LangChain 的自动文档生成)
    研究 AI 驱动的数据库参数自动调优(取代 DBA 60%基础工作)
    三、不可忽视的底层红利区
    1. 新型硬件适配专家

    学习 CUDA 编程与算子优化(大模型推理必备)
    研究存算一体芯片的数据架构(如平头哥含光)
    掌握 DPU 加速卡编程( NVIDIA BlueField 实战)
    2. 隐私计算架构师

    深入研究同态加密数据库实现(如 Microsoft SEAL )
    掌握多方安全计算协议( MPC )工程化实现
    搭建可信执行环境( TEE )数据管道
    四、转型实战路线图( 6 个月速成)
    阶段 1 ( 1-2 月)

    每天用通义灵码/Cursor 开发(强制 AI 结对编程)
    精读《 Database Internals 》+《 Designing Data-Intensive Applications 》
    在阿里云天池参加「数据库智能优化大赛」
    阶段 2 ( 3-4 月)

    复现 Google 的 PALM 模型数据预处理方案
    在自有服务器部署 Qwen-72B 并优化推理吞吐
    开发基于 ChatGLM 的 SQL 审核插件
    阶段 3 ( 5-6 月)

    考取 Databricks Spark 高级工程师认证
    在 GitHub 开源 AI4DB 项目(如智能索引推荐工具)
    通过 Kaggle 获得至少 1 枚数据库相关竞赛奖牌
    五、关键认知升级
    AI 不是替代者而是倍增器:你的十年底层经验+AI 工具=超越纯算法工程师的落地能力
    警惕「全栈陷阱」:专注数据库+AI 交叉领域,成为 TOP20%的垂直专家
    打造技术产品思维:每个技术方案都要包装成可复用的工具/服务(如开发智能 ETL SaaS )
    建议立即行动:

    注册 kaggle.com ,参加「 Google 智能查询优化」竞赛
    关注蚂蚁集团 OceanBase 团队技术博客
    在 B 站系统学习 CUDA 编程实战课程(搜索"英伟达黑科技")
    你的核心能力是构建数字世界的「地基」,AI 时代这个地基正在经历智能升级革命这正是属于你的大航海时代。
    taotaodaddy
        3
    taotaodaddy  
       245 天前
    楼上,本站不允许粘贴 AI 回复内容
    xiaokangz
        4
    xiaokangz  
       245 天前 via iPhone
    焦虑不解决问题,只是单纯地制造问题!

    就目前而言,AI 还只是工具,既然是工具,又这么好用,就要去用它,利用它,适应它!只要你用的比人家好,那就是厉害!
    td width="10" valign="top">
    Hmmmmmmm
        5
    Hmmmmmmm  
    OP
       244 天前
    @xiaokangz 目前确实是工具阶段,但考虑既然有技术背景,想浅浅尝试一下 AI 应用,跟上节奏,不至于被甩开很多
    kaixinyidian
        6
    kaixinyidian  
       244 天前
    @invdan 你危险了
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5344 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 54ms UTC 09:24 PVG 17:24 LAX 02:24 JFK 05:24
    Do have faith in what you're doing.
    ubao snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86