The Future of Spark - Spark 3 Overview

下载 19

腾讯云

发布于

7555

人观看

#信息技术

Apache Spark从诞生之初到现在已经有了9个年头，从最初的学术界新星，到工业界的宠儿，再到现在的大数据处理不二之选，Spark从底层到上层经过了多次的重构和改进，不断引领当今大数据处理的风潮。现如今，随着人工智能，深度学习，实时计算的普及以及广泛应用，将大数据处理从原先的简单处理推向了更快、更深度、更智能的层次，如何将大数据和人工智能更好的结合，如何在人工智能的当下进一步发展Spark，Spark又如何将面临新的挑战? 本次演讲将从Spark的过去、现在和将来三个部分介绍Spark的历史演变，现在的架构以及未来的方向。同时着重介绍Spark未来如何与深度学习更好的融合。从本次演讲中，听众将会了解到Spark的架构演化以及未来的方向，从而对Spark有一个更好、更全面的了解。

展开查看详情

1 .0. :9: . ) 2 ) 2 ( . 1. . ) 1 1 )0 . . 9 3 :

2 .• , (, ,, ( , , • , ( , ( ( ( , ( • ( , )( • ( , , , ,( ,

3 .

4 . 4E6F 4E6F F69I6 6G 6 6,F6B GIEEDF G GIEEDF 502 4E6F L 4 6F 6G 6 4E6F 8DC CIDIG G F 6B C F G 6F8 EFD 8 4E6F 4DF 76G 9 G I A .C D E68 .C8I76 DF 4E6F 4E6F 4E6F KC6B 8 AAD86 DC 2FD 8 5IC G C 1 4E6F 4E6F 430 GIEEDF 9 6FF F 8I DC

5 .

6 . ( - () . , • . , • , • • • ,

7 . ) ( - • () , , ( (( , , ( ( • , (( , ,( , • )( ,( ( DataFrame Structured ML GraphFrame DataSet Streaming Pipeline SparkSQL Apache Spark

8 .

9 .• •

10 .

11 ..

12 .• , 2 .3 2 , D .3 • , , • , 3. A . , , , 1 ,.3 3 , , , 2 ,, , ., , &1 , , . , 3 3, , . , , 2 , C 1 . ., &1 , , . , 3 , ,

13 . 1 2 1 2

14 . / . / / / / . / . / / / . /. / //. . /

15 .• • •

16 .• • •

17 .• 0 + 3 + 4 4 + 3+ + • 0 2 4 + .+ 3 43 + • 0 3 3 3 • +3 24 + 4 • • 0 • + +4 4 • 3 2 4 43 4 •

18 .• • •

19 . 5 -) 2( 5 5 -) 2( 5 2( 5

20 .• ( 3 • ) )( ) 3) ) •

21 .! !

4点赞

6收藏

19下载