大规模日志数据企业级分布式平台架构面临的问题与挑战

1 .大规模日志数据平台架构面 临的问题与挑战 于俊 2018年01月19日 

2 .面临的问题与挑战 平台架构演进之路 数据通道技术架构 常用技术选型 

3 .01 面临的问题与挑战 

4 .面临的问题与挑战 跨语 言 高并 …… 发 TB级 多机 解耦 房 0丢 失 

5 .02 平台架构演进之路 

6 .V1.0系统结构 检索系统 业务系统 MongoDB 统计分析 MongoDB MongoDB 本地日志 

7 .V2.0系统结构 MongoDB 业务系统 收集层代理 HDFS 存储层代理 运营平台 收集层代理 Solr 信源平台 收集层代理 MongoDB 存储层代理 HDFS …… 收集层代理 Solr 

8 . V3.0系统结构 Data Share LogLib Retrieval System 消息系统 存储层代理 收集层代理 Performanc e Tunning Statistics Storage ThirdPartyLo g Biz System 

9 .数据平台架构数据处理方案 实时日志采 • Kettle 数据抽取 集 • Sqoop 脚本抽取 • 日志写入本地 Flume，本地 Flume 发送日志 到汇聚 Flume， 批量数据同 然后写入 HDFS 步 

10 .批量数据同步方案 

11 .批量数据同步方案 

12 .03 数据通道技术架构 

13 .数据通道建设出发点 数据入口不统一 批量同步不可靠 计算传输不隔离 日志采集不可见 

14 .数据通道系统架构 

15 .数据通道系统架构 

16 .数据通道实现原理 

17 .数据通道高性能 

18 .04 常用技术选型 

19 .常用技术选型 HDFS Fluentd Chukwa Thift Scribe Solr Flume Kafka 

20 .THANKS