这是一个创建于 1906 天前的主题，其中的信息可能已经有所发展或是发生改变。
1.每天的数据量很大，大概 5 亿多条，如果用 mysql 存储，再用来查询监控，肯定不行的。 那么用什么来存储呢？
2.数据监控报警，可以知道当前金币发放的数据量，如果超过 /少于 3 天前，7 天前的数据量 10%，就发出报警， 用什么开源的工具可以快速实现呢？
 | 1 defunct9 2020-07-23 14:49:02 +08:00 prometheus |
 | 2 KaynW 2020-07-23 15:17:26 +08:00 prometheus |
 | 3 useben 2020-07-23 16:23:17 +08:00 es |
 | 4 shuax 2020-07-23 16:24:24 +08:00 拿个字段放累加值行不行，不要用 sum |
 | 5 CoooooolFrog 2020-07-23 16:25:22 +08:00 美团点评开源监控系统 cat，谁用谁知道 |
 | 6 tianshiyeben 2020-07-23 16:26:07 +08:00 wgcloud |
 | 7 superrichman 2020-07-23 16:26:24 +08:00 via iPhone elasticsearch |
 | 8 tianshiyeben 2020-07-23 16:26:42 +08:00 |
 | 9 shunconf 2020-07-23 17:22:40 +08:00 @CoooooolFrog 不留地址？ |
 | 10 laminux29 2020-07-23 17:27:25 +08:00 监控金币发放的数据量，这应该是业务，你居然敢拿第三方监控系统来实现，我也是佩服....万一第三方监控系统挂了，或者有个缓冲延迟什么的... |
 | 11 sujin190 2020-07-23 17:34:09 +08:00 这种正常操作不应该先写入 Kafka，让后用个流式框架统计出每天的再写入 influxdb 或者 mysql 之类的来监控么，哪有直接监控原始数据的，就算每天太粗糙，那每小时肯定绰绰有余了，否则这么大量，存入 mysql，查询从磁盘读出来都不知道要多久了，毕竟磁盘读取速度摆在那的 |
 | 12 DukeAnn 2020-07-23 17:54:39 +08:00 flink |
 | 13 joesonw 2020-07-23 18:04:07 +08:00 TICK 全家桶, Influx 存数据, Kapacitor 做按业务报警 |
 | 14 lasuar 2020-07-23 18:29:36 +08:00 Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。 -Clickhouse 用于在线流量分析，一步一步最终形成了现在的 Clickhouse 。在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。 |
| 15 lasuar 2020-07-23 18:33:23 +08:00 Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。 - Clickhouse 用于在线流量分析，在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。 - Clickhouse 能够实现实时聚合，一切查询都是动态、实时的，用户发起查询的那一刻起，整个过程需要能做到在一秒内完成并返回结果 - Clickhouse 支持完整的 DBMS 。支持动态创建、修改或删除数据库、表和视图，可以动态查询、插入、修改或删除数据。 - 数据批量写入，不需要经常更新、删除。数据写入完成后，相关业务不要求经常对数据更新或删除，主要用于查询分析数据的价值。 - Clickhouse 适合用于商业智能领域，广泛应用于广告流量、App 流量、物联网等众多领域。借助 Clickhouse 可以实时计算线上业务数据，如资源位的点击情况，以及并对各资源位进行 bi 预警。 京东使用的架构，Kafka --> flink 定时任务 --> Clickhouse 。 |
| 16 lasuar 2020-07-23 18:33:54 +08:00 |
| 17 lasuar 2020-07-23 18:34:20 +08:00  1 觉得可以的话请点亮右上角。 |
 | 18 BQsummer 2020-07-23 23:11:18 +08:00 via Android 关键词：时序数据库，推荐：Prometheus |
 | 19 byzf 2020-07-24 12:26:40 +08:00 prometheus 不是用来监控 api 的吗, 不能用来监控数据库的某个查询结果吧. |
| 20 lasuar 2020-07-24 15:25:28 +08:00 不会吧不会吧，楼主白嫖一波就溜了？ |
Select Language