1.每天的数据量很大，大概 5 亿多条，如果用 mysql 存储，再用来查询监控，肯定不行的。 那么用什么来存储呢？
2.数据监控报警，可以知道当前金币发放的数据量，如果超过 /少于 3 天前，7 天前的数据量 10%，就发出报警， 用什么开源的工具可以快速实现呢？
This topic created in 2118 days ago, the information mentioned may be changed or developed.
 | 1 defunct9 Jul 23, 2020 prometheus |
 | 2 Yooloo Jul 23, 2020 prometheus |
 | 3 useben Jul 23, 2020 es |
 | 4 momo1999 Jul 23, 2020 拿个字段放累加值行不行，不要用 sum |
 | 5 CoooooolFrog Jul 23, 2020 美团点评开源监控系统 cat，谁用谁知道 |
 | 6 tianshiyeben Jul 23, 2020 wgcloud |
 | 7 superrichman Jul 23, 2020 via iPhone elasticsearch |
| 8 tianshiyeben Jul 23, 2020 |
 | 9 shunconf Jul 23, 2020 @CoooooolFrog 不留地址？ |
 | 10 laminux29 Jul 23, 2020 监控金币发放的数据量，这应该是业务，你居然敢拿第三方监控系统来实现，我也是佩服....万一第三方监控系统挂了，或者有个缓冲延迟什么的... |
 | 11 sujin190 Jul 23, 2020 这种正常操作不应该先写入 Kafka，让后用个流式框架统计出每天的再写入 influxdb 或者 mysql 之类的来监控么，哪有直接监控原始数据的，就算每天太粗糙，那每小时肯定绰绰有余了，否则这么大量，存入 mysql，查询从磁盘读出来都不知道要多久了，毕竟磁盘读取速度摆在那的 |
 | 12 DukeAnn Jul 23, 2020 flink |
 | 13 joesonw Jul 23, 2020 TICK 全家桶, Influx 存数据, Kapacitor 做按业务报警 |
 | 14 freemoon Jul 23, 2020 Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。 -Clickhouse 用于在线流量分析，一步一步最终形成了现在的 Clickhouse 。在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。 |
| 15 freemoon Jul 23, 2020 Clickhouse，Yandex 公司内部业务驱动产出的列式存储数据库。 - Clickhouse 用于在线流量分析，在存储数据达到 20 万亿行的情况下，也能做到 90%的查询能够在 1 秒内返回结果。 - Clickhouse 能够实现实时聚合，一切查询都是动态、实时的，用户发起查询的那一刻起，整个过程需要能做到在一秒内完成并返回结果 - Clickhouse 支持完整的 DBMS 。支持动态创建、修改或删除数据库、表和视图，可以动态查询、插入、修改或删除数据。 - 数据批量写入，不需要经常更新、删除。数据写入完成后，相关业务不要求经常对数据更新或删除，主要用于查询分析数据的价值。 - Clickhouse 适合用于商业智能领域，广泛应用于广告流量、App 流量、物联网等众多领域。借助 Clickhouse 可以实时计算线上业务数据，如资源位的点击情况，以及并对各资源位进行 bi 预警。 京东使用的架构，Kafka --> flink 定时任务 --> Clickhouse 。 |
| 16 freemoon Jul 23, 2020 |
| 17 freemoon Jul 23, 2020  1 觉得可以的话请点亮右上角。 |
 | 18 BQsummer Jul 23, 2020 via Android 关键词：时序数据库，推荐：Prometheus |
 | 19 byzf Jul 24, 2020 prometheus 不是用来监控 api 的吗, 不能用来监控数据库的某个查询结果吧. |
| 20 freemoon Jul 24, 2020 不会吧不会吧，楼主白嫖一波就溜了？ |
Select Language