Analytics Zoo 社区
使用RayOnSpark在大数据平台上运行新兴的人工智能应用
2020/07/10 19:30 - 20:30

主题摘要

随着近几年AI的快速发展,针对新兴的人工智能技术实际落地的场景和需求也越来越多。Ray是由UC Berkeley RISELab开源的一个能快速和方便构建新兴人工智能应用的框架。但我们发现在生产环境中,直接把Ray的程序部署运行在大数据的集群上并不是一件容易的事,常用的做法会需要两个不同的集群去分别运行大数据的应用和人工智能的应用,这样会不可避免地增加许多数据传输以及集群维护的开销。而利用Analytics Zoo (https://github.com/intel-analytics/analytics-zoo) 中提供的RayOnSpark功能,用户能很容易地直接在现有的Apache Hadoop/YARN集群上运行各种新兴的AI应用,包括端到端的分布式神经网络训练、可扩展的AutoML用于时序预测以及分布式的强化学习等等。本次分享主要为大家介绍开发RayOnSpark的初衷、具体实现细节和使用方法,以及实际的应用案例。

讲师姓名:黄凯

讲师简介:Intel大数据团队软件工程师。负责开发基于Apache Spark的数据分析和AI平台,同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是大数据和AI开源项目Analytics Zoo和BigDL的核心贡献者之一

Analytics Zoo代码开源地址

https://github.com/intel-analytics/analytics-zoo/

BigDL代码开源地址

https://github.com/intel-analytics/BigDL

“回车”发送消息