用 Redis 去重，数据量大概 90w/月，不断累积，服务器需要多少内存

@SummerWQM 讲道理，spark/hadoop 是需要巨大成本的，1000w 一年的量，一个列式数据库就搞定了

一个数据库唯一键就能解决的事情

@leriou 好的，谢谢指点

@luozic
@dingyaguang117
@colincat
bloom filter 听说过，不过不是上亿数据量以上才会使用吗

@SummerWQM 学习成本太大，我就做个爬虫去重而已。。

@CharlieBrown bloom filter 没有学习成本，两个命令而已，还有计算计算公式能评估错误率和所需要的容量，很好用。

90w 应该 90MB 不到，写入 redis 看一下内存占用

90w 跟没有数据有啥区别（如果一条数据没有图片超大文本之类的）

bloom filter,
redis 4.0 以上版本, 开启插件就行.

./src/redis-server redis.conf --loadmodule /usr/rebloom/rebloom.so INITIAL_SIZE 1000000 ERROR_RATE 0.0001
# 容量 100 万, 容错率万分之一, 占用空间是 4m

需要的时候自动创建一个容量 100 万, 容错率万分之一的 bf key
语法就是
bf.add(key, value)

这个语法是手动创建一个新 key
BF.RESERVE 2018_ccgp 0.0001 28000000
容量是两千八百万, 占用空间是 64m

你先确定你是否要用 redis，为什么不用 mysql

@zhengxiaowai 我说的是 spark hadoop 的学习成本。。。

@ClutchBear 好的，我去看看

@huashengshu
@jatesun
数据是文章标题，一般是 30 个汉字以内

@feverzsj 用 MySQL 去重可能造成数据库压力过大吧

@CharlieBrown 学习能力这么差吗，偶尔我也搞爬虫，bloom filter 这个完全满足你的需求，就用这个就行，不要考虑增长问题

bloom filter 就是 hash 之后放到数组，和你用 redis 的 hash 做一个道理。就是对存储 hash key 有缩减。

@CharlieBrown #10 的建议就很好啊，MySQL 觉得压力太大，那就 Sqlite 嘛~ 现有数据重插一次

mysql 压力很小的，用 mysql 就行，redis 是放在内存的。而且你为了做持久化的话，也会占用硬盘。并且 redis 的数据是在启动的时候一次性加载到内存的。你如果紧张内存就放 mysql，mysql 你加入索引，查询复杂度 log2n。

@colincat 好的，已经在研究 bloom filter，以前也看过一些


@likuku
@gsralex
其实就是想用用 Redis。。。现在已经是 MySQL 去重了。

我这边目前系统盘 20G，数据盘 200G，不知道能不能 Redis 装系统盘，数据放数据盘

@CharlieBrown 可以，先考虑下 redis 是否需要持久化

@gsralex 应该是需要持久化的，毕竟要一直记录用于去重

@CharlieBrown 那我觉得就用 mysql 好了

sort |uniq

持久化常用的两种 配置文件中都可以改

如果查询稳定，某秒不过百，建议数据库吧；架构简单易维护。

我不准备正面回应你的问题，只想谈谈这种设计引入的成本和风险。

根据上述设计，存储前必须要先计算标题 MD5 值，连接 Redis 检查 MD5 是否存储，最终存储到 SQL 数据库。

计算、时延成本：
首先，计算 MD5 值十分消耗 CPU 资源，其次查询 Redis 将引起额外的网络时延，保存新的 MD5 也会产生网络时延。

单点风险：
由于 OP 仅部署单个 Redis，整个系统存在单点故障的风险。这样的系统无疑极其脆弱，一旦 Redis 崩溃将导致业务中断（无法保存新的文章），因此必须再增加两台主机来构成 Redis Sentinal 集群，成本将大大增加。

编码、调试、诊断困难：
必须在本地环境配置 Redis 服务器方可调试，同时需要处理 Redis 请求失败的情况。生产环境一旦发生异常，不容易诊断。

维护成本：
需要额外维护三台 Redis 服务器。

BloomFilter 原理，实现及优化： http://oserror.com/backend/bloomfilter/

@2owe
好的，肯定是每秒不过百，

之所以想用 Redis，除了学习使用外，

其实还有一个原因是我们的 MySQL 数据库最初设计的很烂，导致后期很多问题，崩溃什么的。

加上我不是那边的人员，不好插手，所以才想用 Redis，算是缓解那边压力吧

@metrxqin
说的很全面，长见识了。

不过我们产品一共才 3 个服务器。。。要 3 台 Redis 来维持一个健壮的系统，显然老板是不会同意的。

由于文章的表是在 MySQL 上，所以 Redis 其实是只有标题的 md5 值 加上未来的一个 ip 池

一旦 Redis 数据库丢失 ，我能想到的做法也只有从 MySQL 提取文章标题再传入 Redis


或者 Redis 不保存标题 md5 值，直接使用标题？

可以看看 pika

就这么一个小东西考虑太多就是过度设计了，孩子