假设每条日志包含一个五元组和一个时间戳,每天百亿级别。查询场景分两种:
- 查询访问某个目的 ip 的源 ip
- 查询某源 ip 访问果哪些目的 ip
目前想到的是直接怼进 es,有木有其他更好的方案?

假设每条日志包含一个五元组和一个时间戳,每天百亿级别。查询场景分两种:
目前想到的是直接怼进 es,有木有其他更好的方案?
1 kkjinping Mar 19, 2019 上 ELK | /tr>
2 hbsfxlz Mar 19, 2019 HBASE,存 2 份或者做二级索引 |
3 zclHIT Mar 19, 2019 via iPhone HBASE,非常适合时序场景 |
4 moonfly Mar 19, 2019 via iPhone 每天百亿级别,这是什么场景下的网络行为审计? |
5 murmur Mar 19, 2019 我也好奇楼主的场景 能达到日千万访问量的公司都不应该有这个问题 我们自己做电力的实时数据 数据量也才千万级 测点上万 都 达不到日百亿 |
6 HuHui Mar 19, 2019 via Android 这种场景来 V2EX 问? |
7 jeffersonpig Mar 19, 2019 楼主是建墙的吗 |
8 Mac Mar 19, 2019 楼主是孟姜女的老公没跑了,大家开怼。 |
9 0ZXYDDu796nVCFxq Mar 19, 2019 via Android 记录的是『连接』,这个量级,gfw ? |
10 saulshao Mar 19, 2019 楼主的问题听起来确实是 GFW 才有的...... |
11 zyp0921 Mar 20, 2019 请问是方校长吗? |
12 berumotto Mar 20, 2019 细思极恐 楼主是干什么的 |
13 windfarer Mar 20, 2019 建议接入学什么强国 |
14 henglinli Mar 20, 2019 via iPhone 小心有诈 |
15 buhi Mar 20, 2019 这个数据量, 是监控强国人脑电波的系统吗? |