Alluxio在TalkingData应用实践

1 .阎志涛 Alluxio 在 TalkingData 应用实践

2 .Agenda 关于 TalkingData 为什么会关注到 Alluxio ? Alluxio 在 TalkingData 的应用场景 在使用 Alluxio 时的建议

3 .成立于 2011 年 中国领先的智能数据服务公司 服务于移动互联网客户和传统企业客户 每天处理超过 20T 新增数据 关于 TalkingData

4 .提高 Spark 进行数据处理的效率 为什么会关注到 Alluxio ? 数据收集 数据总线 分布式存储 ETL 数据处理流程 慢

5 .解决方案 - Tachyon 为什么会关注到 Alluxio 数据收集 数据总线 分布式存储 ETL Tachyon

6 .数据中心 数据智能市场 营销云 数据科学平台 Alluxio 在 TalkingData 的应用场景

7 .用途 用作分布式缓存，存放热数据，解决数据处理性能问题 采用内存 +SSD 的分层存储 带来的好处 大大提高了数据处理的性能 开发简单 易于管理和维护 Alluxio 在 TalkingData 的应用场景 - 数据中心

8 .用途 解决异构存储问题，统一文件存储接口 对外提供统一的数据存储服务 带来的好处 隔离底层物理存储的区别，对外接口统一 方便未来存储的扩充 方便管理 Alluxio 在 TalkingData 的应用场景 – 数据智能市场

9 .用途 HDFS 访问代理 带来的好处 多个应用服务器可以通过 Alluxio 访问 HDFS 灵活的访问控制 Alluxio 在 TaklingData 的应用场景 – 营销云 服务 服务 服务 Alluxio HDFS

10 .用途 统一异构存储的访问 提高数据访问性能 带来的好处 隔离了异构存储的区别，对外接口统一 提高了数据访问性能 Alluxio 在 TalkingData 的使用场景 - 数据科学平台

11 .使用更新的比较稳定的版本，比如 1.7.1 合理的配置生产环境中的参数 关注 Alluxio 社区的发展 订阅 Alluxio mail list 参加 Alluxio Meetup 在使用 Alluxio 时的一些建议

12 .Q&A