数据源是从华为 XDR 导过来的，每天数据量大概 3.5TB ，目前想从中过滤出一些有用信息（方法是限定大类 ID 、小类 ID ），我用的是 shell 脚本去执行：
work_dir=dirname $0
cd ${work_dir}
my_log=count_103.log
LANG=C
my_cOnf=ls -l /ftp/S1U-103-20151013*.txt|awk '{prnt $9}'
for x in $my_conf
do
echo $x >>$my_log
awk -F "|" '{if ($24 =="8" && $25 == "162") print $0}' $x >>$my_log
done
目前脚本跑的情况来看，速度非常慢，两天只过滤出了 90M 左右的数据（预测过滤出的数据量应该在 GB 级别），想问一下有没有更好更快的方法去实现对文本数据的过滤？
 | 1 bigtan Oct 16, 2015 这种场景语言差异很大，试试 c/c++自己写 |
 | 2 Andiry Oct 16, 2015 via Android mapreduce |
 | 3 aheadlead Oct 16, 2015 jstorm ？ |
 | 4 songco Oct 16, 2015  1 如果格式固定, 过滤条件比较简单, io 密集型的, 随便什么语言写个程序效率应该都差不多. 这种的处理主要瓶颈是磁盘的性能, 比如之考虑读取, 单机器单普通硬盘, 按 50MB/s 的速度来过滤, 一天差不多 50MB*3600*24/1024/1024≈4.12T 实际上数据导出还要考虑网络, 导出数据的磁盘写入之类的. 用 hadoop 之类的效率会差很多. lz 的需求不是很明确, 比如数据存在哪里, 有多少台机器可以用之类的最好说明一下. |
 | 5 crazyboy2014 Oct 16, 2015 尝试 gun parallel |
 | 6 xfspace Oct 16, 2015 用 SSD 组 RAID10 试试 |
 | 7 inter Oct 16, 2015 用 perl 就行，就你这处理条件，速度基本就是你的磁盘速度。普通家用硬盘速度 10 个小时跑完一天数据，刚刚好 |
 | 8 motopig Oct 16, 2015 spring bath |
 | 9 aver4vex Oct 16, 2015 my_cOnf=ls -l /ftp/S1U-103-20151013*.txt|awk '{print $9}' 这句太生猛了，机器内存扛得住吗 |
 | 10 goodryb Oct 16, 2015 你这能快就见鬼了，哈哈 for x in $my_conf do echo $x >>$my_log awk -F "|" '{if ($24 =="8" && $25 == "162") print $0}' $x >>$my_log done 你知道一次 IO 要耗时多久吗？ 居然还要分两次写进去 就算你没有大数据处理经验，难道就不能分割，然后并行处理吗？ 一台机器慢就不能多用几台机器吗？ 好吧，我之前处理过几百 GB 级别的，分在 12 台机器上 8 核机器上，然后并发 8 个进程 用 shell 来处理，核心还是要减少 IO |
 | 12 binux Oct 16, 2015 @goodryb 前面写一句文件名到 log 里面怎么了嘛! 一个文件就写一次有多大的开销啊! 另外吐槽一下 awk, 直接写 awk -F "|" '$24 =="8" && $25 == "162"' 就可以了, 不用 if |
 | 13 402124773 Oct 16, 2015 在使用 shell 脚本之前，是否考虑过把大文件分成几块，然后再执行，应该能稍微缓解下 |
 | 14 snopy OP |
 | 15 htc502 Oct 17, 2015 1 昨天就想回你，自己作死，被 V2EX 禁言了 1800 秒。。。 1. 并行。切开$x 文件，并行任务。循环也可以部分并行， google ‘ gnu parallel ’有惊喜 2. 敢问那个 LANG ＝ C 是啥意思？没懂。。。撸个 c 版本 或者用 perl 搞一搞， c 的也应该不难啊，，，几十行应该能够搞定。。 光撸 awk 。。。。>>$my_log 那一行就行，其他还用 bash 或 perl 。 perl 也挺快 3. 预测滤出数据量。。。兴许你这两天跑的数据都是那 0.05 的奇葩部分也说不定啊。。 |
Select Language