网易严选&Alluxio大数据技术

2019年07月27日 14:00 - 16:25

网商路599号网易一期园区B1报告厅

可容纳100人
免费
报名码

议程安排:

13:30 - 14:00 签到入场
14:00 - 14:05 主持人开场
14:05 - 14:45 大数据存储系统Alluxio新特性介绍与缓存性能优化 顾荣
14:45 - 15:30 Spark+Alluxio在严选大数据架构演进中的实践与探索 左琴
15:30 - 15:40 中场休息 & 自由交流
15:40 - 16:25 交互式查询系统Impala在实际业务中的落地 汪胜


讲师议题介绍

议题一:大数据存储系统Alluxio新特性介绍与缓存性能优化

讲师:顾荣,博士毕业于南京大学,南大PASA大数据实验室助理研究员,研究方向大数据处理系统,PMC Member & Maintainer,中国计算机学会系统软件专委会委员、江苏省计算机学会大数据专家委员会秘书长。顾荣已在TPDS、JPDC、ICDE、IPDPS等前沿国际期刊会议发表论文30余篇,主编出版专著1部,获授权国家发明专利4项;先后主持国家自然科学基金青基项目1项、江苏省自然科学基金青基项目1项、知名大型IT公司委托研发项目3项,相关成果应用于英特尔、百度、苏宁、字节跳动等公司和开源大数据系统Spark、Alluxio。顾荣还获得NIPS AutoML全球挑战赛第三名,曾在Microsoft Research、Intel、Baidu从事过大数据系统相关的研发工作。

议题简介:分布式文件系统处于大数据系统中基础地位,在行业大数据应用中发挥着重要作用。Alluxio(原名Tachyon)是世界上首个以内存为中心的层次化分布式文件系统。它为上层计算框架和底层存储系统构建了桥梁,应用可以通过Alluxio提供的统一数据访问方式访问底层任意存储系统中的数据。在本报告中,我将首先介绍Alluxio基本原理和2.0版本的新特性;然后,将介绍我们在Alluxio缓存优化方面的一些工作。

议题二:Spark+Alluxio在严选大数据架构演进中的实践与探索

讲师:左琴,2013年硕士毕业于浙江大学控制系,先后在网易、阿里巴巴等公司,从事分布式存储系统的开发,性能优化,大数据基础设施建设等方面的工作。目前在网易严选带领数据工程团队,负责数据智能决策平台建设,Spark优化和计算存储分离等方面的工作。

议题简介:我将跟大家分享严选在Spark服务化建设的工作,以及我们在优化Spark计算引擎、存储格式等方面的优化探索,及严选大数据架构的演进方面的工作。Alluxio在严选大数据生态中同样扮演着重要的角色,Alluxio的特性能有效的帮助我们解决在spark优化,计算存储分离,计算混合部署等架构演进中遇到的困难。

议题三:交互式查询系统Impala在实际业务中的落地

讲师:汪胜,华中科技大学硕士毕业,网易资深服务端开发工程师,负责网易大数据Impala、Kylin的相关开发和运维工作,在多维分析和交互式查询系统领域有深入研究,精通多维分析、交互查询等优化。

议题简介:Impala是由Cloudera公司开源的一款交互式查询系统,采用了MPP架构。具有高并发和低延迟的特点。目前在网易内部使用很多,包括考拉,云音乐和严选等都有在使用。本次分享将给大家简要介绍一下impala系统,同时包括我们在实际使用过程中遇到的一些问题。

活动主办方:

本次 Meetup 由 网易严选 & Alluxio 联合举办,示说网对活动宣传报名提供支持!