
code> ___ ____ _____ _ _ __ _ _ _ / __| |_ / |_ _| ___ | |__ (_) / _` | __| | __ _ | |_ __ _ \__ \ / / | | |___| | '_ \ | | \__, | / _` | / _` | | _| / _` | |___/ /___| _|_|_ _____ |_.__/ _|_|_ |___/ \__,_| \__,_| _\__| \__,_| _|"""""|_|"""""|_|"""""|_| |_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|_|"""""|_|"""""| "`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'"`-0-0-'
该项目主要分析深圳通刷卡数据,通过大数据技术角度来研究深圳地铁客运能力。
强调学以致用,本项目的原则是尽可能使用较多的常用技术框架,加深对各技术栈的理解和运用,在使用过程中体验各框架的差异和优劣,为以后的开发项目选型做基础。
解决同一个问题,可能有多种技术实现;实际的企业开发应当遵守最佳实践原则。
Java/Scala
Flink-1.10
Redis-3.2
SpringBoot-2.13
knife4j-2.0 (前身为 swagger-bootstrap-ui )
kafka-0.11 (最佳 CP kafka-eagle)
CDH-6.2
Docker
Elasticsearch-7
Spark-2.3
Hive-2.1
Impala
HBase
...
1 levelworm 2020 年 4 月 14 日 via Android 国内还有这数据,不错啊!可以撸一把,像你说的用 Kafka 做成实时流。 |
2 Chichele 2020 年 4 月 14 日 via Android 好奇数据源哪里来的? |
3 Chichele 2020 年 4 月 14 日 via Android 噢,看到 readme 里的描述了 |
4 1more 2020 年 4 月 14 日 via iPhone 正好最近在研究 kafka,已 star |
5 wudalang123 2020 年 4 月 14 日 我也好奇数据来源在哪里 |
6 wudalang123 2020 年 4 月 14 日 @tigerstudent 找到了数据源: 深圳市政府数据开放平台,深圳通刷卡数据 133.7 万条 [离线数据] ,https://opendata.sz.gov.cn/data/api/toApiDetails29200_00403601 理论上可以当作实时数据,但是这个接口响应太慢了,于是本项目采用离线思路处理。当然,如果采用 kafka 队列方式,也可以模拟出实时效果 |
7 Juszoe 2020 年 4 月 14 日 |
8 LeeSeoung 2020 年 4 月 14 日 最好介绍下哪些设计用了哪些框架组合? |
13 misaka19000 2020 年 4 月 14 日 感谢楼主,学习一下~~~ |
14 mwcodenoname 2020 年 4 月 14 日 @429463267 好像不止,搜了一下广州成都都有 |
15 mwcodenoname 2020 年 4 月 14 日 @levelworm 请问你之前有没有在 sonicbbs 论坛混迹过? ID 看着有点眼熟 |
16 429463267 OP |
17 IMASHER 2020 年 4 月 14 日 老哥服务器啥配置?几台? |
19 429463267 OP |
20 levelworm 2020 年 4 月 15 日 via Android @mwcodenoname 打倒八尺! |
21 429463267 OP |