- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
Alluxio在唯品会准实时数据项目的实践
展开查看详情
1 .Alluxio 在唯品会准实时项目中的实践 主讲人:冯荆平 日 期: 2018 年 7 月
2 .1. Alluxio 在实时销售归因项目中的应用 2. Alluxio 监控、限流及多备份 3. 未来工作 目录 content
3 .1. Alluxio 在实时销售归因项目中的应用 2. Alluxio 监控、限流及多备份 3. 未来工作 目录 content
4 .Alluxio 在实时销售归因项目中的应用 实时销售归因项目背景
5 .1. 快速读取! 2. 快速写入! 架构图 Alluxio 在实时销售归因项目中的应用
6 .中心存储 Hdfs ( 1000+ nodes ) SSD hdfs ( 40+ nodes ) Alluxio ( 20+ nodes ) Alluxio 在实时销售归因项目中的应用
7 .1. 最高有 24000+ 连接 2. 每秒处理 6000+ 的 rpc 请求 3. 每秒读写 10GB 的数据 5.27 alluxio 节点 6.2+20TB 的存储空间 Alluxio 在实时销售归因项目中的应用
8 .1. 最高有 24000+ 连接 2. 每秒处理 6000+ 的 rpc 请求 3. 每秒读写 10GB 的数据 5.27 alluxio 节点 6.2+20TB 的存储空间 Alluxio 在实时销售归因项目中的应用
9 .Alluxio 监控、限流及多备份 监控 目前 alluxio 的 metrics 不满足当前的监控需求 1.Master 的 RPC 处理信息缺失 2. 很多指标只有递增值,而没有每秒的统计值 增加监控指标: 1. 监控 master 的 RPC 平均处理时长,最大处理时长,平均队列等待时长以及最大队列等待时长 2. 统计每秒钟 worker 的写入 / 读取字节数,每秒处理 block 数等一系列指标 3. 监控 RPC 连接数计数
10 .Alluxio 监控、限流及多备份 Graphite + Grafana 实现多维度监控以及告警,接入 falcon 实现机器层面的监控
11 .Alluxio 监控、限流及多备份 RPC queue time RPC process time & count RPC connections
12 .Alluxio 监控、限流及多备份 1. 使用 mem+hdd 做两层存储 2. 不启用持久化 3. 开启异步置换 4.Journallog 存放 ssd 集群,开启 master 的 ha 存在问题: 1.Worker 的单点问题 2. 机器负载难以受控
13 .Alluxio 监控、限流及多备份 readrequest Disk.io.await Read bytes
14 .Alluxio 监控、限流及多备份 限流
15 .Alluxio 监控、限流及多备份 限流 1. 进行 cpu 以及 io 限制 2. 用于限制异常操作,避免因异常操作导致 worker 挂掉 3. 在有多组件混搭的情况可以分别设限
16 .Alluxio 监控、限流及多备份 多备份
17 .Alluxio 监控、限流及多备份 多备份
18 .Alluxio 监控、限流及多备份 多备份
19 .未来工作 大数据平台架构
20 .未来工作 大数据平台架构 alluxio
21 .未来工作 1. 热数据以及临时数据通过 alluxio 加速。 2. 底层存储持久化 + 多备份共同保证稳定性。
22 .THANK YOU