这是一个创建于 4193 天前的主题，其中的信息可能已经有所发展或是发生改变。
网站可以公开下载的网站泄露的数据库大约有200G。
把这些数据库整理一下，做个社工库，防止被骗子诈骗是个不错的思路。
偶尔搞搞营销也可以。
这些库各种各样，后缀也挺多txt、mdb、sql甚至excel
问题
1.一般个人使用采用什么样的架构搭建
看到比较多的是php+mysql，数据库都导入到mysql重新建立索引
网上也有几个开源的go语言
还有泄露的社工查询网站 搜云的源码和库结构
也有把所有库存放在某个文件夹，通过软件来检索，我想是类似notepad++或者UE这种吧
求推荐,个人使用该如何选择?
2.是个人电脑运行，还是搞个二手服务器放在家里，还是vps
著名的md5查询网站xmd5，汪利辉说自己的服务器是放在家里。
当然我做这个不想公开只是方便自己使用。
数据搞好了放在移动硬盘需要的时候跑一下，靠谱不？
3.整理数据
大量数据库去重，合并，导入，是否有好的思路或者教程
4.现在常用密码都已经被泄露，是否有一种新的机制来代替现有的密码策略。
比如1password之类，大家有什么好的想法？
把这些数据库整理一下，做个社工库，防止被骗子诈骗是个不错的思路。
偶尔搞搞营销也可以。
这些库各种各样，后缀也挺多txt、mdb、sql甚至excel
问题
1.一般个人使用采用什么样的架构搭建
看到比较多的是php+mysql，数据库都导入到mysql重新建立索引
网上也有几个开源的go语言
还有泄露的社工查询网站 搜云的源码和库结构
也有把所有库存放在某个文件夹，通过软件来检索，我想是类似notepad++或者UE这种吧
求推荐,个人使用该如何选择?
2.是个人电脑运行，还是搞个二手服务器放在家里，还是vps
著名的md5查询网站xmd5，汪利辉说自己的服务器是放在家里。
当然我做这个不想公开只是方便自己使用。
数据搞好了放在移动硬盘需要的时候跑一下，靠谱不？
3.整理数据
大量数据库去重，合并，导入，是否有好的思路或者教程
4.现在常用密码都已经被泄露，是否有一种新的机制来代替现有的密码策略。
比如1password之类，大家有什么好的想法？
 | 1 Suanlatang 2014-04-20 11:50:57 +08:00 记得以前有这么个网站。。由于数据查询量太大。。关了。。 |
 | 2 xAI 2014-04-20 12:11:09 +08:00 这些数据的整理是一个非常耗时的工作。 |
 | 3 vibbow 2014-04-20 12:30:29 +08:00  1 全存成文本文档，可以用我的这个脚本全文搜索。 https://gist.github.com/vibbow/8569991 |
 | 4 Cyrils 2014-04-20 12:37:30 +08:00 如果是公开的话。纯粹是造轮子了。。太多了。。。 |
 | 5 hacri 2014-04-20 12:38:54 +08:00 简单的mysql扛不住吧，而且索引检索部分肯定得单独做。试试nosql？ |
 | 6 v223344 2014-04-20 12:48:25 +08:00 密码数据方便分享下吗 |
 | 7 fange01 OP @Suanlatang 现在也有很多。 |
 | 10 manoon 2014-04-20 21:21:32 +08:00 无聊的时候把那些数据转成MONGODB了。。。以为比其它数据库要轻松很多，结果，呵呵。 |
 | 11 a3587556 2014-04-21 01:05:54 +08:00 via iPhone 试试Sphinx |
 | 14 isaced 2014-04-22 09:02:18 +08:00 Mongodb可能会很合适。 |
 | 17 qq2511296 2014-04-22 14:18:39 +08:00 594sgk.com 你是说这个网站麽？ |
 | 18 a2z 2014-04-22 20:01:51 +08:00 很多人用elasticsearch，用solr的也不少 |
 | 19 the13matrix 2014-04-22 23:27:43 +08:00 php+mysql，上亿条数据，查询时等同于卡死好么。 整理好的社工库以文本方式存储。自己写查询脚本：需要查询的时候，先把整个文件载入内存，以后就在内存里查找。速度比sql语句快10倍不止。 另外，别想拿社工库用做合法用途。拿别人网站的数据用做自己产品，这永远都是不合情不合理不合法的。 |
Select Language