
当前将监护仪的毫秒级数据存储到数据库,少量数据还可以访问,但是时间长了就无法访问。是应该替换成时序数据库吗?比如 基于 PostgreSQL 的 TimescaleDB ?有没有可以参考的方案
1 faceair 17 小时 58 分钟前 VictoriaMetrics |
2 defunct9 17 小时 56 分钟前 不要用 TimerscaleDB ,之前 prometheus 的持久化放到 TimescaleDB ,一是机器的 CPU 占用极高,而是磁盘空间极高,没法用。 |
3 qi1 17 小时 45 分钟前 阿里的 TSDB 呢,有问题他们还能给运维(我没用过,听说来的) |
4 hugowangnz 17 小时 32 分钟前 我读研那会儿做时序数据,那时候最热门的时序数据库是 influxDB |
5 bigdude 17 小时 31 分钟前 国产的 tdengine 可以试试 |
6 Yasuke 17 小时 20 分钟前 |
7 opengps 17 小时 19 分钟前 传统关系数据库想用出时序的效果,确实需要费很大精力优化,还是直接用时序更省心 |
8 chaoshui 17 小时 15 分钟前 推荐 InfluxDB |
9 polarbearn 17 小时 4 分钟前 Apache IoTDB https://github.com/apache/iotdb |
10 KongLiu 16 小时 53 分钟前 时序数据库推荐 InfluxDB ,之前我们有个项目是要本地存储的,用的方案是存成 SQLite ,做好分库也不错 |
12 sxhJoker 16 小时 35 分钟前 我们有个项目需要存储传感器数据,用的 influxDb |
13 mrsatangel 16 小时 9 分钟前 https://github.com/GreptimeTeam/greptimedb 支持 MySQL/PG 协议 |
15 emacsistyzy 15 小时 10 分钟前 clickhouse . 查询性能和数据压缩比都相当可以. 而且也相对简单. |
16 xmdbb 15 小时 4 分钟前 目前在用 clickhouse ,量大的查候也是不住,除非集群; 目前基本只存 3/7/30 天的日,,如果要求存更久就加算走集群或使用服 |
17 sead 15 小时 0 分钟前 clickhouse +1 不过这个不合适实时频繁写入,需要实时部分得隔离到 PostgreSQL 这类能频繁写入的,并分批入库到 clickhouse ; 其他的没有用过,clickhouse 最给力的是内存资源使用的没有那么猛,查询还非常给力 |
18 526326991 14 小时 47 分钟前 国产做的好的涛思数据库( https://www.taosdata.com/)可以试试 但是迭代版本过快 我司正在用 |
20 stardustree 13 小时 31 分钟前 “毫秒级数据”,时间精度这么高的数据,要做好降采样。 |
21 Saunak OP @stardustree 生理信号的原始波形。100-500Hz 。从研究目的上来说似乎不太好降采样 |
22 snow0 12 小时 41 分钟前 超大数据量考虑 cassandra |
23 waising 12 小时 34 分钟前 @mrsatangel 最近也在看这个,有实际项目使用吗,体验如何,我们主要存储设备上报的数据,目前在用 timescaleDB ,主要考虑设备量有上来看选什么方案更好。 |
24 stardustree 11 小时 6 分钟前 @Saunak 降采样的策略很灵活: 比如是否存在查询超长时间波形的需求:如果有的话,直接展示原始数据大概率是不行的,哪怕不考虑性能,前端的图都画不出来。可以处理成最大值、最小值、P95 值之类的按时间颗粒度的统计值,有点像股票 k 线图 如果只支持查询短时间的波形:随便 1 个时序数据库都能满足需求,非常简单,你只需要考虑可维护性、并发限制、成本这些方面 甚至可以考虑一种特殊算法的降采样逻辑,精度只有轻微的变化: https://www.base.is/flot/ |
25 BQsummer 8 小时 16 分钟前 tdengine 就是坨屎, 底层用关系型数据库魔改的; prometheus 不合适, 取值的时候会做估算, 不适合精确数据 |
27 v1 7 小时 36 分钟前 大胆点,上 elasticsearch |
29 luckyc 6 小时 59 分钟前 InfluxDB 不能满足么? |
30 playniuniu 6 小时 36 分钟前 可以试试 questdb ,做量化高频不少人选这个,可以满足需求 |
31 0x663 6 小时 4 分钟前 dolphindb |