申请试用
HOT
登录
注册
 
迁移Apache Hive作业到Apache Spark

迁移Apache Hive作业到Apache Spark

poppy
/
发布于
/
2073
人观看
在本节中,我们首先介绍迁移框架中的新特性和改进,以支持桶形表并提高自动化程度。接下来,我们将深入探讨我们遇到的最高级技术挑战以及我们如何应对这些挑战。通过识别/开发最缺失的特性、修复不兼容的UDF和实现UDF测试框架,我们将Hive和Spark之间的语法兼容性从51%提高到85%。此外,我们开发了可靠的连接操作符,以便在利用诸如ShuffledHashJoin之类的优化时提高生产中的在本节中,我们首先介绍迁移框架中的新特性和改进,以支持桶形表并提高自动化程度。接下来,我们将深入探讨我们遇到的最高级技术挑战以及我们如何应对这些挑战。通过识别/开发最缺失的特性、修复不兼容的UDF和实现UDF测试框架,我们将Hive和Spark之间的语法兼容性从51%提高到85%。此外,我们开发了可靠的连接操作符,以便在利用诸如ShuffledHashJoin之类的优化时提高生产中的Apache Spark 稳定性。
34 点赞
6 收藏
2下载
相关文档
确认
3秒后跳转登录页面
去登陆