申请试用
HOT
登录
注册
 
基于Spark实现的MLSQL如何帮助企业构建数据中台
基于Spark实现的MLSQL如何帮助企业构建数据中台

基于Spark实现的MLSQL如何帮助企业构建数据中台

Apache Spark中国技术交流社区
/
发布于
/
4617
人观看

5月23日【基于Spark实现的MLSQL如何帮助企业构建数据中台】

讲师:祝威廉,资深数据架构,11年研发经验。同时维护和开发多个开源项目。擅长大数据/AI领域的一些思路和工具。现专注于构建集大数据和机器学习于一体的综合性平台,降低AI落地成本相关工作上。

内容简介:本次分享中,分享者会阐述他心目中的数据中台的样子,并且介绍如何基于MLSQL完成数据中台的构建。
此外,分享者会也会介绍MLSQL是如何基于Spark来完成这些扩展的,重要的技术点有:
1.如何扩展Spark SQL使其成为一个数据专用的语言MLSQL.
2.如何实现对各种数据源譬如HDFS/ES/MySQL/MongoDB等细化到列的权限控制。
3.如何构建二层RPC通讯强化对Executor的控制,实现对机器学习更好的支持。
4.如何支持兼容多版本Spark
5.如何避免机器学习中预测阶段无法复用训练时的代码和数据
另外,我们也会简单探讨下Databricks公司新开元项目Delta对于数据和机器学习的意义。


阿里巴巴开源大数据EMR技术团队成立Apache Spark中国技术社区,定期打造国内Spark线上线下交流活动。请持续关注。
钉钉群号:21784001
团队群号:HPRX8117
微信公众号:Apache Spark技术交流社区

8 点赞
4 收藏
确认
3秒后跳转登录页面
去登陆