干货满满的 Data & AI Meetup 精彩继续,第 3 期将于12月2日 19:00-20:45 与大家在线上相见。本期我们特别邀请了来自阿里云、小米、腾讯的三位技术专家分享一线大厂研发 Remote Shuffle Service (RSS) 的动机和真实生产实践,感兴趣的同学们快添加「文末微信号」加入活动微信群吧~
活动介绍
在分布式数据处理中,Shuffle 是最容易导致性能、稳定性、运维成本等问题的环节之一。Spark Pull Based 的 Shuffle 设计在一些场景下面临严重的挑战,因此无论是国外的 Facebook、Linkedin,还是国内的腾讯、阿里、小米等,都推出了 Push Based 的 RSS。最近腾讯刚开源 RSS 项目更是让我们再一次关注到了这项技术。想了解更多精彩议程,快往下看吧~
活动议程
19:00-19:10 社区动态
19:10-19:50 Talk 1:腾讯 RSS 项目 Firestorm 原理、实践与开源
演讲概要:
Spark Shuffle 存在的问题
Remote Shuffle Service 的现状
Firestorm 的实现及应用
Firestorm 的规划
讲师:马骏杰 | 腾讯大数据团队高级工程师,目前主要负责 Spark 的优化及 RSS 的研发
19:50-20:30 Talk 2:阿里云 Remote Shuffle Service 介绍及在小米的实践
演讲概要:
RSS 的动机和相关工作
RSS 的核心设计和实现
RSS 在小米的实践
讲师:周克勇(一锤)| 阿里云 EMR 开发工程师,负责 Spark 引擎优化
讲师:王胜杰|小米计算平台计算引擎高级开发工程师,目前主要负责小米 Spark 计算引擎开发与维护等相关工作
20:30-20:45 社区问答 Q & A
活动信息
直播时间:12 月 2 日(周四) 19:00 - 20:45
报名方式:添加 K 小助(微信号:uncertainly5)加入 Data & AI Meetup 交流群,获取直播链接~
进群前请认真阅读下方报名提示,以免错过活动:
本次活动的所有信息将通过活动微信群与您同步。
活动中参与互动,将有机会 pick 随机掉落的精美社区周边以及书籍哦~
关于 Kyligence
Kyligence 由 Apache Kylin 创始团队创建,致力于打造下一代智能数据云平台,为企业实现自动化的数据服务和管理。基于机器学习和 AI 技术,Kyligence 从多云的数据存储中识别和管理最有价值数据,并提供高性能、高并发的数据服务以支撑各种数据分析与应用,同时不断降低 TCO。Kyligence 已服务中国、美国及亚太的多个银行、保险、制造、零售等客户,包括建设银行、浦发银行、招商银行、平安银行、宁波银行、太平洋保险、中国银联、上汽、一汽、安踏、YUMC、Costa、UBS、Metlife、AppZen 等全球知名企业和行业领导者。公司已通过 ISO9001,ISO27001 及 SOC2 Type1 等各项认证及审计,并在全球范围内拥有众多生态合作伙伴。