有没有这样一种数据库？历史数据自动按文件分块，可以随意拷贝删除。

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

This topic created in 2965 days ago, the information mentioned may be changed or developed.

例如，创建数据表的时候指定一个时间戳的列，和一个文件存储路径，该表内的数据自动按日期区间存成多个物理文件。

关键是，这些物理文件可以随意删除，还原而不影响上层的查询统计，有数据就查，没数据就跳过。

这样，就可以使用物理文件迁移的方式随意备份和删除历史数据，需要查询它的时候把文件拷贝回来就可以了。

Supplement 1 Mar 15, 2018

折衷的解决办法：

分表写入数据，data_2016, data_2017, data_2018, ...

备份时直接拷贝 mysql 文件，data_2016.frm, data_2016.idb

然后可以删除 data_2016 中的全部数据，delete * from data_2016

恢复时需要停止 mysql 数据库，将 data_2016.frm, data_2016.idb 覆盖回来。

Supplement 2 Mar 15, 2018

查询比较简单，做个视图 union data_2016, data_2017, data_2018 几个表即可。

文件

删除

物理

数据

16 replies 2018-03-15 16:43:48 +08:00

edsion996

Mar 14, 2018 via iPhone

试试分库分表？

loading

Mar 14, 2018 via iPhone

程序内部分表，底层用 swlite，简单啊。

loading

Mar 14, 2018 via iPhone

sqlite

hcymk2

Mar 15, 2018

MySQL Partition 有类似的功能，但不是通过物理文件来实现的。

enzo113

Mar 15, 2018

hive 的外部表+partition 可以，但是 hive 未必是你想要的那种数据库

bfbd

Mar 15, 2018

@loading 程序内部分表，查询的时候就得自行拼接查询结果，如果是排序后分页，SQL 语句一句搞定（ limit, offset ），程序就得自己拼接来自多个表的查询结果。

bfbd

Mar 15, 2018

@zjb861107 分库分表解决的是读写性能问题，现在是想实现非全库全表的备份、删除、以及恢复，而且是在数据量比较大的时候，比如几十，几百 G。

bfbd

Mar 15, 2018

@zjb861107 或许可以用分表存储，分表备份和分表导入的方式实现。

例如：查询视图 DATA 包含 data_201801, data_2018_02, data_2018_03 ... 等多个数据表，备份 data_201801 后删除其中数据，如果要恢复数据，将备份文件导入到 data_201801 即可。
虽然不如物理文件方便，但貌似可行。