介绍了Alluxio在唯品会大数据平台中准实时数据项目(商品销售归因)中的实践。包括
- 使用Spark/Hive+Alluxio搭建的处理准实时数据的架构
- 唯品会对Alluxio 监控、限流及多备份方面的增强
- 未来对Alluxio功能的规划
本slides是2018年7月广州的Alluxio meetup上有唯品会大数据工程师冯荆平所演讲

注脚

展开查看详情

1.Alluxio 在唯品会准实时项目中的实践 主讲人:冯荆平 日 期: 2018 年 7 月

2.1. Alluxio 在实时销售归因项目中的应用 2. Alluxio 监控、限流及多备份 3. 未来工作 目录 content

3.1. Alluxio 在实时销售归因项目中的应用 2. Alluxio 监控、限流及多备份 3. 未来工作 目录 content

4.Alluxio 在实时销售归因项目中的应用 实时销售归因项目背景

5.1. 快速读取! 2. 快速写入! 架构图 Alluxio 在实时销售归因项目中的应用

6.中心存储 Hdfs ( 1000+ nodes ) SSD hdfs ( 40+ nodes ) Alluxio ( 20+ nodes ) Alluxio 在实时销售归因项目中的应用

7.1. 最高有 24000+ 连接 2. 每秒处理 6000+ 的 rpc 请求 3. 每秒读写 10GB 的数据 5.27 alluxio 节点 6.2+20TB 的存储空间 Alluxio 在实时销售归因项目中的应用

8.1. 最高有 24000+ 连接 2. 每秒处理 6000+ 的 rpc 请求 3. 每秒读写 10GB 的数据 5.27 alluxio 节点 6.2+20TB 的存储空间 Alluxio 在实时销售归因项目中的应用

9.Alluxio 监控、限流及多备份 监控 目前 alluxio 的 metrics 不满足当前的监控需求 1.Master 的 RPC 处理信息缺失 2. 很多指标只有递增值,而没有每秒的统计值 增加监控指标: 1. 监控 master 的 RPC 平均处理时长,最大处理时长,平均队列等待时长以及最大队列等待时长 2. 统计每秒钟 worker 的写入 / 读取字节数,每秒处理 block 数等一系列指标 3. 监控 RPC 连接数计数

10.Alluxio 监控、限流及多备份 Graphite + Grafana 实现多维度监控以及告警,接入 falcon 实现机器层面的监控

11.Alluxio 监控、限流及多备份 RPC queue time RPC process time & count RPC connections

12.Alluxio 监控、限流及多备份 1. 使用 mem+hdd 做两层存储 2. 不启用持久化 3. 开启异步置换 4.Journallog 存放 ssd 集群,开启 master 的 ha 存在问题: 1.Worker 的单点问题 2. 机器负载难以受控

13.Alluxio 监控、限流及多备份 readrequest Disk.io.await Read bytes

14.Alluxio 监控、限流及多备份 限流

15.Alluxio 监控、限流及多备份 限流 1. 进行 cpu 以及 io 限制 2. 用于限制异常操作,避免因异常操作导致 worker 挂掉 3. 在有多组件混搭的情况可以分别设限

16.Alluxio 监控、限流及多备份 多备份

17.Alluxio 监控、限流及多备份 多备份

18.Alluxio 监控、限流及多备份 多备份

19.未来工作 大数据平台架构

20.未来工作 大数据平台架构 alluxio

21.未来工作 1. 热数据以及临时数据通过 alluxio 加速。 2. 底层存储持久化 + 多备份共同保证稳定性。

22.THANK YOU

user picture
Alluxio,世界上第一个将分离的异构存储整合到统一平台,并提供近乎内存访问速度的中间件,广泛用于企业和混合云的商业数据分析加速。

相关文档