The Future of Spark - Spark 3 Overview

Apache Spark从诞生之初到现在已经有了9个年头,从最初的学术界新星,到工业界的宠儿,再到现在的大数据处理不二之选,Spark从底层到上层经过了多次的重构和改进,不断引领当今大数据处理的风潮。 现如今,随着人工智能,深度学习,实时计算的普及以及广泛应用,将大数据处理从原先的简单处理推向了更快、更深度、更智能的层次,如何将大数据和人工智能更好的结合,如何在人工智能的当下进一步发展Spark,Spark又如何将面临新的挑战? 本次演讲将从Spark的过去、现在和将来三个部分介绍Spark的历史演变,现在的架构以及未来的方向。同时着重介绍Spark未来如何与深度学习更好的融合。从本次演讲中,听众将会了解到Spark的架构演化以及未来的方向,从而对Spark有一个更好、更全面的了解。
展开查看详情

1.0. :9: . ) 2 ) 2 ( . 1. . ) 1 1 )0 . . 9 3 :

2.• , (, ,, ( , , • , ( , ( ( ( , ( • ( , )( • ( , , , ,( ,

3.

4. 4E6F 4E6F F69I6 6G 6 6,F6B GIEEDF G GIEEDF 502 4E6F L 4 6F 6G 6 4E6F 8DC CIDIG G F 6B C F G 6F8 EFD 8 4E6F 4DF 76G 9 G I A .C D E68 .C8I76 DF 4E6F 4E6F 4E6F KC6B 8 AAD86 DC 2FD 8 5IC G C 1 4E6F 4E6F 430 GIEEDF 9 6FF F 8I DC

5.

6. ( - () . , • . , • , • • • ,

7. ) ( - • () , , ( (( , , ( ( • , (( , ,( , • )( ,( ( DataFrame Structured ML GraphFrame DataSet Streaming Pipeline SparkSQL Apache Spark

8.

9.• •

10.

11..

12.• , 2 .3 2 , D .3 • , , • , 3. A . , , , 1 ,.3 3 , , , 2 ,, , ., , &1 , , . , 3 3, , . , , 2 , C 1 . ., &1 , , . , 3 , ,

13. 1 2 1 2

14. / . / / / / . / . / / / . /. / //. . /

15.• • •

16.• • •

17.• 0 + 3 + 4 4 + 3+ + • 0 2 4 + .+ 3 43 + • 0 3 3 3 • +3 24 + 4 • • 0 • + +4 4 • 3 2 4 43 4 •

18.• • •

19. 5 -) 2( 5 5 -) 2( 5 2( 5

20.• ( 3 • ) )( ) 3) ) •

21.! !

腾讯云Hadoop + Spark生态技术开放日,围绕Hadoop和Spark等大数据开源技术实践和行业应用,持续为企业和开发者们,带来丰富的实战技术干货,以及提供一个开源技术交流的专有平台。