深耕大数据还是继续深耕 Java - V2EX
V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
请不要在回答技术问题时复制粘贴 AI 生成的内容
luozhiyun
V2EX    程序员

深耕大数据还是继续深耕 Java

  •  
  •   luozhiyun 2018-11-30 00:04:43 +08:00 5556 次点击
    这是一个创建于 2512 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近我们公司的项目也差不多快接近尾声了, 所以从这个月开始我们公司要我们慢慢的转 hive,去做报表分析. 从我现在做的来看的话,公司已经把整个大数据的框架已经做好了,要我们做的东西就是让我们在平台上面写写 sql, 然后把报表用 hive 给做出来

    所以我现在就在考虑要不要乘着个机会转大数据, 把大数据的各个框架都去研究一下,以后好找这方面的工作.

    但是,问题来了, 万一到时候我在大数据上面浪费了半年, 甚至一年的时间去做大数据, 后来发现学了根本没有卵用, 去外面根本找不到好的工作,而目前的公司也只要我会写 hive 的 sql 就够了,那这我浪费了一年的时间去整这个没有什么用的东西不是很亏?

    我是 16 年毕业的经济学专业的,自学的 java,做的 java 开发,平时对技术还是很热爱的,如果不加班就是在家里学技术了,也希望自己能成为一个像各位一样的精英.

    所以对自己的未来究竟能怎么样还是很纠结的,希望各位能指点一下,谢谢

    30 条回复    2018-11-30 21:50:02 +08:00
    F281M6Dh8DXpD1g2
        1
    F281M6Dh8DXpD1g2  
       2018-11-30 00:16:44 +08:00
    这俩不冲突
    luozhiyun
        2
    luozhiyun  
    OP
       2018-11-30 00:24:56 +08:00
    @liprais 也就是说, 你觉得后端的也要会大数据吗,类似 hadoop 和 spark 之类的都要会吗
    xiaoshenke
        3
    xiaoshenke  
       2018-11-30 01:28:49 +08:00 via Android
    写 hive 和 sql 我并不认可为大数据开发,你还是先把 java 学好吧
    noqwerty
        4
    noqwerty  
       2018-11-30 03:32:04 +08:00 via Android
    公司工作不忙,不正好是学新东西提高自己的机会吗
    CoderHugo
        5
    CoderHugo  
       2018-11-30 03:57:27 +08:00
    正好我软工刚毕业,有个风控老板让我做他贴身助理,老哥怎么看这类工作的啊。。。
    我帮他办公还行,经济学知识完全没有,而且感觉助理啥也学不到,不像写代码跟着做了项目还能吹一吹。。
    p2pCoder
        6
    p2pCoder  
       2018-11-30 07:47:19 +08:00 via Android
    这是数仓 BI 开发吧
    myhot21
        7
    myhot21  
       2018-11-30 08:13:01 +08:00 via Android
    这两个并不冲突。
    younfor
        8
    younfor  
       2018-11-30 08:28:25 +08:00
    这个所谓的大数据开发,就是写 SQL。接触不到底层技术,说出来可能是 BI 开发 ,其实就是埋在业务量写 SQL。我之前写了半年逃出来了。哎。不过现在还是在做 Java 开发。人生啊,好艰难(想爆哭
    neimenggudehai
        9
    neimenggudehai  
       2018-11-30 08:30:01 +08:00
    支持 younfor,大数据最后还要落实到编码上,学好 java 是根基,然后大数据什么火,就去捞一下
    luozhiyun
        10
    luozhiyun  
    OP
       2018-11-30 08:49:43 +08:00 via iPhone
    @younfor 我也知道这单纯的写 sql 没啥意思,只是说,要不要自己把整个大数据体系学习一遍。但是就怕出现丢了西瓜,捡了芝麻这种情况,到头来啥都不精
    VoidChen
        11
    VoidChen  
       2018-11-30 08:53:52 +08:00
    给你说个实话,大数据的话 hive 只是冰山一角,我最近从 storm 转 spark,hive 花了 1 天就会用了(我是有用过 hdfs 和 hbase 所以比较快上手,算是一年大数据经验吧)
    VoidChen
        12
    VoidChen  
       2018-11-30 08:56:06 +08:00
    另外现在很多 java 也要会一点大数据的组件了,solr,hbase,redis 那些,自己有空得看一下
    Bryan0Z
        13
    Bryan0Z  
       2018-11-30 08:59:50 +08:00 via Android
    Java 是大数据开发的基础,hbase, influxdb,kafka,refis,hive 一大堆框架,虽然看着多,但是基本就是一天入门,没那么难学
    dalieba
        14
    dalieba  
       2018-11-30 10:02:44 +08:00 via Android
    上 Kotlin
    wqzjk393
        15
    wqzjk393  
       2018-11-30 10:03:21 +08:00
    大数据开发和 sql 这些关系不大,大数据开发岗大部分还是以搭建 hadoop 环境和 hivespark 等等插件和性能调优为主,而且多是 java 开发的。sql 这些更偏向数据处理方向的,分析挖掘这些,以后深入的话接触的是挖掘模型和算法,而不是 java 框架。所以还是看你自己想法了
    ipwx
        16
    ipwx  
       2018-11-30 10:17:19 +08:00
    框架年年都有新。算法才是永恒的。
    luozhiyun
        17
    luozhiyun  
    OP
       2018-11-30 10:23:26 +08:00
    @dalieba 老铁 , Kotlin 现在普及不是很广唉, 我也看了语法, 让我去掌握的话,估计三天就可以搞个七七八八 ,问题不大
    luozhiyun
        18
    luozhiyun  
    OP
       2018-11-30 10:27:29 +08:00
    @wqzjk393 算法这些,当然是感兴趣的, 算法我在 leetcode 上也有没事就去做做的冲动 ,但是就我目前做 hive 来看, 和算法关系不大啊, 只是各种创建临时表, 数据倒来倒去, 函数调来调去, hive 也不能像存储过程一样 可以写 if else ,游标这些东西 ,还是比较无聊的, 我还是比较喜欢研究一样 netty , dubbo 这些源码来的有意思
    cyspy
        19
    cyspy  
       2018-11-30 10:32:43 +08:00
    十分理解大家都爱造轮子,可是如果 BI 不算大数据的话什么叫大数据?参与框架的全国一共有多少人?
    gaius
        20
    gaius  
       2018-11-30 11:05:33 +08:00
    不冲突的吧
    leiuu
        21
    leiuu  
       2018-11-30 11:15:45 +08:00
    这俩不冲突,hive 基于 hadoop、hadoop 是基于 JAVA 的。用的深入了可能需要 JVM 调优。这些都是 JAVA 的范畴。
    说一个可怕的事,然后你可能还得顺便掌握其他编程语言:scala、python、bash。底层一点的就得 c、c++了。
    所以可以保证先有的一定广度,比如 hive、spark、impala、redis、hbase、flume、kafka 等用熟悉,会调优(官网都会有 tuning guide )。楼上说一天入门我感觉太厉害了...这一套两三年用熟就厉害了。
    luozhiyun
        22
    luozhiyun  
    OP
       2018-11-30 11:37:42 +08:00
    @leiuu 他意思是会用吧, 我们这周一的时候 培训 hive ,两小时不到, 领导就过来拍拍我的肩膀说, 是不是可以开发了 ,哭笑不得 ~
    leiuu
        23
    leiuu  
       2018-11-30 12:26:19 +08:00
    @luozhiyun 俩小时太久了...如果你知道 SQL...5 分钟就能实现项目了...
    laike9m
        24
    laike9m  
       2018-11-30 12:30:10 +08:00 via Android   1
    精英是不会被语言和技术绑死的
    VoidChen
        25
    VoidChen  
       2018-11-30 13:33:59 +08:00
    @leiuu 是会用 hive,其他我都用了 1 年了,正在学 scala,scala+spark 一周上手开发,全归功于 java 功底= =
    wizardoz
        26
    wizardoz  
       2018-11-30 14:17:30 +08:00
    深耕 Java 什么鬼?
    luozhiyun
        27
    luozhiyun  
    OP
       2018-11-30 15:00:01 +08:00
    @wizardoz 指的是学习各种开源源码, 并且尝试自己造轮子
    binge
        28
    binge  
       2018-11-30 17:09:27 +08:00
    两者不冲突,要深耕的不是工具的使用,而是什么时候用什么技术解决什么样的问题
    daimazha
        29
    daimazha      2018-11-30 17:32:31 +08:00
    现在后端基本上都会点 storm hbase 等大数据框架
    jbiao520
        30
    jbiao520  
       2018-11-30 21:50:02 +08:00
    这俩不冲突的,大数据框架就是 java 或者 scala 写的
    关于     帮助文档     自助推广系统     博客     API     FAQ     Solana     5084 人在线   最高记录 6679       Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 26ms UTC 09:21 PVG 17:21 LAX 02:21 JFK 05:21
    Do have faith in what you're doing.
    ubao msn snddm index pchome yahoo rakuten mypaper meadowduck bidyahoo youbao zxmzxm asda bnvcg cvbfg dfscv mmhjk xxddc yybgb zznbn ccubao uaitu acv GXCV ET GDG YH FG BCVB FJFH CBRE CBC GDG ET54 WRWR RWER WREW WRWER RWER SDG EW SF DSFSF fbbs ubao fhd dfg ewr dg df ewwr ewwr et ruyut utut dfg fgd gdfgt etg dfgt dfgd ert4 gd fgg wr 235 wer3 we vsdf sdf gdf ert xcv sdf rwer hfd dfg cvb rwf afb dfh jgh bmn lgh rty gfds cxv xcv xcs vdas fdf fgd cv sdf tert sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf sdf shasha9178 shasha9178 shasha9178 shasha9178 shasha9178 liflif2 liflif2 liflif2 liflif2 liflif2 liblib3 liblib3 liblib3 liblib3 liblib3 zhazha444 zhazha444 zhazha444 zhazha444 zhazha444 dende5 dende denden denden2 denden21 fenfen9 fenf619 fen619 fenfe9 fe619 sdf sdf sdf sdf sdf zhazh90 zhazh0 zhaa50 zha90 zh590 zho zhoz zhozh zhozho zhozho2 lislis lls95 lili95 lils5 liss9 sdf0ty987 sdft876 sdft9876 sdf09876 sd0t9876 sdf0ty98 sdf0976 sdf0ty986 sdf0ty96 sdf0t76 sdf0876 df0ty98 sf0t876 sd0ty76 sdy76 sdf76 sdf0t76 sdf0ty9 sdf0ty98 sdf0ty987 sdf0ty98 sdf6676 sdf876 sd876 sd876 sdf6 sdf6 sdf9876 sdf0t sdf06 sdf0ty9776 sdf0ty9776 sdf0ty76 sdf8876 sdf0t sd6 sdf06 s688876 sd688 sdf86