不涉及 java web 的话,java 掌握到什么程度可以胜任呢?
1 xiaoidea 2019-01-28 10:03:06 +08:00 关注 |
![]() | 2 notfound09 2019-01-28 10:18:43 +08:00 同关注 |
![]() | 3 y547679519 2019-01-28 10:22:06 +08:00 大部分情况下会写 sql 就行了 |
![]() | 4 zhangneww 2019-01-28 10:29:26 +08:00 大数据有那么多方向,你说的也太笼统了,做 Spark ? Hive ? ETL ?实时计算?底层开发?。 |
5 yangzhezjgs 2019-01-28 10:30:52 +08:00 |
6 luozic 2019-01-28 10:32:36 +08:00 via iPhone 是做算法 还是底层+优化 还是做 dsl ? |
7 Navee 2019-01-28 10:32:51 +08:00 同#3 楼,大多数情况你要知道数据如何处理,代码都不复杂 |
8 DragonPost 2019-01-28 11:15:16 +08:00 我觉得,首先重点是,你得看得到真实数据。 一直看不到真实数据要我们搭平台,实时同步,然后遇到特殊数据根本不知道哪里出错了。 |
![]() | 9 xhinliang 2019-01-28 11:21:42 +08:00 为啥要往后端方向发展呢,我一个做 Java 后端的还想往大数据方向发展呢 |
![]() | 10 scalaer 2019-01-28 11:41:43 +08:00 运维 + sql |
![]() | 11 funky 2019-01-28 13:24:35 +08:00 服务端 |
![]() | 12 zjsxwc 2019-01-28 13:44:16 +08:00 没有什么是精通 sql 搞不定的,我同学在电信还在是写 sql 与存储过程。。。 |
![]() | 13 cirton OP 算法需要用到 java 吗?用 scala 或者 python 的比较多吧。 就身边的例子来说,java 主要还是用于 web 方向开发,java 在大数据项目中一般就是做接口开发(kafka,flume, es 等)。 不知道大家接触到的是什么情况? |
![]() | 15 xiaoshenke 2019-01-28 14:54:05 +08:00 不建议转。我已经往回转了 |
![]() | 16 funky 2019-01-28 14:54:15 +08:00 java,scala,N 多大数据组件 |
![]() | 17 cirton OP @xiaoshenke 为什么不建议转呢?往回转是指做 java web 开发吗? |
![]() | 18 xiaoshenke 2019-01-28 14:59:20 +08:00 @cirton java 的方向太多了 我建议你可以往中间件方向靠。不建议转的原因是大数据很难作出成绩,组件都比较成熟或稳定,你真过去会发现你要么是写 sql 的,要么是做运维的,都没什么前景。 |
19 Wisho 2019-01-28 15:10:32 +08:00 只有巨头有能力在大数据这块做底层、框架和系统的开发,例如百度早年硬是用 c++重写 hadoop,阿里现在的 MaxCompute 和 Blink。 中厂都是把开源的那一堆组件拼在一起,做成 pipeline,封装一下对内服务,本质上还是普通后端开发。 小厂无论是数据量,还是人才,都不会去做“大数据”的东西,即使做也都是 sql 一把梭出报表,spark sql 工程师和 hql 工程师了解一下。 |
![]() | 20 janxin 2019-01-28 15:14:08 +08:00 会写 SQL 的就可以用了 |
![]() | 21 cyril4free 2019-01-28 16:13:06 +08:00 用上框架就是普通后端开发,外加事务和性能调优吧。如果是写框架那是真牛了。 |
23 snappyone 2019-01-28 16:28:30 +08:00 写业务的基本就是懂 sql 就行,把业务转化为 sql/类 sql 的语言。 做底层框架开发要求相对比较高,底层的 java、scala、反射、分布式、各种缓存、二级索引,比如我现在就在蛋疼得写一个 sql 解析器,把 sql 语法转化为通用的数据处理任务,屏蔽业务层开发复杂度。。。 |
27 WaitingForSun 2019-01-28 20:32:57 +08:00 @lycbug666 我也在做这个耶,握个抓 |
28 CaptainKevin 2019-01-28 21:57:19 +08:00 via Android 上层工作做大数据系统,下层定制大数据组件 |
![]() | 29 F281M6Dh8DXpD1g2 2019-01-28 22:26:09 +08:00 sql 想要写的好也不容易,眼高手低要不得 |
![]() | 30 fuyufjh 2019-01-29 00:45:29 +08:00 大数据也分很多种啊。上面有人提到了 calcite,可以一读,代码质量很高 |
![]() | 31 lycbug666 2019-01-29 01:13:38 +08:00 via iPhone @WaitingForSun 在阿里吗?感觉用上实时计算的公司还不是很多 |
33 WaitingForSun 2019-01-29 09:43:53 +08:00 @lycbug666 圈子很小很小的 哈哈哈哈哈 |
35 Wisho 2019-01-29 11:12:40 +08:00 @pain400 看公司吧,有的公司招“大数据工程师”会在 JD 里写清楚要精通机器学习的,那种是招进去做机器学习,不过数据集太大,实现时要用很多大数据组件支持,所以公司会觉得这就是“大数据工程师”。 |
![]() | 36 lycbug666 2019-01-29 12:12:58 +08:00 via iPhone @WaitingForSun 是这样的 能私下交流么 我也留学生 |
37 Nickd 2019-01-29 12:52:50 +08:00 现在学生。之前也有过楼主的想法,然而,到了公司才发现入门都是先写几个月 sql、hql |
38 WaitingForSun 2019-02-12 12:18:38 +08:00 |
![]() | 40 Roni 2020-11-18 20:35:33 +08:00 |