一个开源的集日志和件流数据收集，过滤，传输及响应的轻量级数据采集系统, Logcool

Logcool 是一个开源的集日志和事件流数据收集，过滤，传输及响应的轻量级数据采集系统。 https://github.com/wgliang/logcool

Logcool 的设计灵感来自 Heka 和 Logstash ，它的实现受到了 gogstash 的启发。重要的是它的目标在于解决前面系统的一些弊端，例如系统庞大或者不能容易的在业务环境中部署，在这方面 gogsyash 实现的已经非常好了，不过我不看好的是依赖过多非标准库，在结构上也不够简单清晰。这是为什么我将 gogstash 重构并重新设计一些逻辑的原因。

由于很难完全满足不同场景下的需求，这个库更多的是提供基础插件，例如数据的加密和解密，数据的压缩和解压缩，数据格式的转换，支持文件，命令行或者其他系统的输出格式，支持 redis ， influxDB 和 MySQL 数据库等等。重要的是，你可以根据自己的需要轻易的开发符合自己需求的插件，并轻松的使用它。

已经完成和未来会增加的插件：

file 数据来源是文件，例如日志文件

stdin 从控制台获取数据，这个调试和示例会用到

http 从网络获取数据，支持 post ， get 等

collectd 监控系统性能数据，例如 CPU ，内存，网络，硬盘等等

zeus 简单的打标签过滤器

metrics 打点计数器，可用于告警和 dashboard 生成

grok 正则过滤数据，支持多模式匹配

aes 加密

zip 压缩

json json 格式化

stdout 标准输出到控制台

redis 将数据打入 redis 数据库

influxdb 数据导入 influxdb ，这个对于时序数据很有用

email 通过 email 发送消息，比如告警和服务异常通知

exec 发送消息执行命令或脚本

mysql 将数据写入 mysql

pg 将数据写入 pg