申请试用
HOT
登录
注册
 
4.使用Ray作为Spark SQL UDF的执行引擎-祝威廉
4.使用Ray作为Spark SQL UDF的执行引擎-祝威廉

4.使用Ray作为Spark SQL UDF的执行引擎-祝威廉

白玉兰开源
/
发布于
/
535
人观看
使用Ray作为Spark SQL UDF的执行引擎-祝威廉

这次分享我们会重点介绍如何基于Ray使用Python实现Spark SQL UDF函数,进一步的,我们使用该技术实现有状态的UDF函数,从而能够将常见的Python算法模型转换成 SQL UDF函数进而被更广泛的使用。利用Ray强大的分布式编程能力,我们完美解决算法模型包装成SQL函数面临的两大难题,1. 函数需要一个初始化过程,2. 函数有一定的python环境要求。

祝威廉 现就职于Kyligence,资深数据架构师,拥有10+年研发经验。最近六年专注于数据管理,商业分析,机器学习的统一平台的设计和开发。个人热衷于开源产品的设计和研发,MLSQL(mlsql.tech)为其主要开源作品。

1 点赞
1 收藏
8下载
确认
3秒后跳转登录页面
去登陆