Flume：分布式日志采集处理系统
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统，Flume支持在日志系统中定制各类数据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写到各种数据接受方（可定制）的能力。 Flume 初始的发行版本目前被统称为 Flume OG（or …
实时日志分析系统实现
目前网上搜索开源日志，大多只有一篇：http://dongxicheng.org/search-engine/log-systems/ 全面的说明了下目前市场上的产品，并列了张表做了清晰的对比： scribe：很久不更新，并且需要自己实现数据源（通过thrift，需要开发） chukwa：也很久不更 …
Apache:日志分割及压缩
apache默认配置的rotatelogs只能是按照一定时间或者一定文件大小来分割，而我们通常需要得到的是一整天或者一个小时的日志数据 为了解决这个问题，我采用了第三方的一个程序cronolog在http://www.cronolog.org下载源码包，在root用户下执行下面的指令 ./tar – …
