大数据量下的精确统计解决方案

解决数据丢失：
方案一：借助数字 ID 的连续性。这个很好理解吧。如果 id 不是连续的，或者不是数字，请看方案 2.
方案二：只需要合理设计接口即可。具体见下面的例子。
方案三：使用 outbox pattern （交易记录增加一个字段“是否已同步”），需要借助最少一次送达的消息队列。https://microservices.io/patterns/data/transactional-outbox.html

方案 1 和 2 非常类似，属于数据接收方主动。方案 3 属于数据持有方主动。

---
举一个方案 2 的具体例子：

（先假设 id 的大小关系和时间的大小关系一致，或者说后插入的数据 id 大）

数据持有方这样设计请求接口：
GET /records?start=1001&count=500
response: { data: [...], hasNext: True }

这样设计的好处：
1. 批量操作（参数 count ），效率损失少。
2. 不会错过数据。接收方每次查询时，只需要将 start 设为自己数据库里面最后一条 id 即可。

注意：对于数据发送方是分布式数据库例如 mongodb，为了防止“后插入的数据 id 大”这一假设被打破，应当合理设置 read concern 。

---

具体是方案 2 还是方案 3，就见仁见智了。我个人认为方案 2 灵活性强，学习成本小，利于团队间合作。

性能方面的建议：
削峰。同步数据的工作分散到每一个小时，而不是每天结束时做。