博客园
人工智能开发前沿实战系列公开课第一期
2020/09/18 19:30 - 21:30

活动背景

业务需求、数据、算法、算力等因素,决定人工智能技术走向产业落地面临各种挑战。博客园联合示说网,以及产业内人工智能技术领域的工程师讲师,结合实践案例,推出《人工智能开发前沿》实战系列公开课,将涵盖边缘到云端、训练到推理、算法模型到工程实践等一系列人工智能实践学习课程。课程内容详实丰富,既包括前沿技术介绍和演示,也提供动手实操和练习项目。

欢迎广大AI及大数据领域的开发者、学生、研究人员共同参与学习研讨!

议程安排

19:30 – 20:15 《持久化内存技术在实时决策系统中的应用》
20:15 – 21:00 《Spark Shuffle RPMem扩展: 借助持久内存与RDMA加速Spark 数据分析》
21:00 – 21:05 活动抽奖

讲师及议题

讲师介绍陈宬,新加坡国立大学博士,第四范式高性能计算组,资深系统优化工程师,专注于新一代存储介质在AI系统,数据库以及操作系统层的优化。
议题介绍:实时决策系统: 如实时推荐,实时反欺诈,要求系统在极短的时间内对用户产生的数据进行处理,并拉取已训练好的超高维模型进行打分预测。这一过程中将涉及实时特征提取,超高纬模型参数查询等多步操作。为了满足强实时性的要求,决策系统需要把用于提取特征的数据以及超高纬模型的参数存储在DRAM内存中。在实际部署过程中,我们发现这部分内存数据量可以多达10TB级甚至更高。借助Intel Optane DC memory(PMEM)持久化内存高容量,持久化等特性,可以很好的降低实时决策系统内存数据的存储成本,并大大加快传统DRAM-based内存系统因节点失效所需的恢复时间。我们将介绍我们利用PMDK对第四范式自研的两项核心科技:实时特征提取数据库RTIDB和高纬参数服务器集群进行优化的成果。

讲师介绍张建,英特尔亚太研发有限公司大数据部门的软件工程经理,专注于大数据和机器学习中存储方案优化
议题介绍:Spark中Shuffle 密集型的作业的性能通常会受限于Shuffle过程中磁盘I/O和CPU开销。同时,很多工作证明简单的用更快的存储介质和网络来加速Shuffle 很难达到良好的效果。 我们将介绍如何利用持久化内存与高性能RDMA网络来加速Spark Shuffle。Spark Shuffle RPMem扩展提供了一个基于PMem和RDMA来加速Shuffle的方案,它采用PMem作为Shuffle的存储介质,利用PMDK用户态编程库进行数据读写,减小用户态、内核态切换与文件系统开销;用基于RDMA网络协议异构的传输层实现高性能数据传输;还将RDMA直接注册在PMem上,减少内存拷贝。 初步测试结果表明,相对传统Shuffle方案,Spark Shuffle RPMem扩展可以对Shuffle密集型作业带来显著的性能提升和时延下降。

活动支持

英特尔AI实践日工作组

合作伙伴

博文视点

活动奖品(抽奖)

· 博文视点出版的技术书籍3本
· 100元JD电子购物卡3张

更多参会福利

· 前50位有效报名听众,将有机会获得英特尔中国编写的《制造行业AI实践手册》一本
· 所有有效报名的开发者听众,参会资格审核通过后会得到随机红包
· 所有在线开发者,根据在线时长、互动提问优质问题,获得0.3-10元不等的随机红包

微信群入群抽奖

现金红包由示说网服务号自动推送,请报名时务必关注“示说网服务号”!

“回车”发送消息