Analytics-Zoo统一的大数据分析、AI平台

下载 3

AICUG人工智能社区

发布于

3828

人观看

#信息技术

Analytics-Zoo统一的大数据分析、AI平台

展开查看详情

1 .AI CU G人 w ww 工 . 智 ai 能 cu 利智超/Intel 技 g. 术 cn zhichao.li@intel.com 社区

2 . 区背景介绍术 cn 社技 g. BigDL介绍能 cu 智 ai Analytics-Zoo功能和细节工 . ww G人 w 落地案例分析 CU AI 1

3 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 Why Analytics Zoo? 2

4 . 区术 cn 社技 g. 能 cu 智 ai 工 . ww G人 w CU “Hidden Technical Debt in Machine Learning Systems”, Sculley et al., Google, NIPS 2015 Paper AI AI Pioneer 3

5 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 4

6 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 5

7 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 6

8 . 区术 cn 社技 g. 能 cu 智 ai 工 . ww G人 w CU AI https://software.intel.com/en-us/articles/building-large-scale-image-feature-extraction-with-bigdl-at-jdcom AI Pioneer 7

9 . 区术 cn 社技 g. 能 cu 智 ai Standard Spark jobs 工 . • No changes to the Spark or Hadoop clusters needed ww Data parallel G人 w • Each Spark task runs the same model on a subset of the data (batch) “Zero” code change • Directly support TensorFlow, Keras and Caffe Model CU Seamlessly deployed on production big data clusters AI • Only need to install on driver node. AI Pioneer 8

10 . 区术 cn 社技 g. 能 cu 智 ai What’s Analytics Zoo? 工 . ww G人 w CU AI AI Pioneer 9

11 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 10

12 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 11

13 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 12

14 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 13

15 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 14

16 . 区 Write TensorFlow code inline in PySpark program 术 cn #pyspark code • Data wrangling and 社 train_rdd = spark.hadoopFile(…).map(…) 技 g. analysis using PySpark dataset = TFDataset.from_rdd(train_rdd,…) 能 cu #tensorflow code import tensorflow as tf • Deep learning model 智 ai slim = tf.contrib.slim development using images, labels = dataset.tensors with slim.arg_scope(lenet.lenet_arg_scope()): 工 . TensorFlow or Keras logits, end_points = lenet.lenet(images, …) ww loss = tf.reduce_mean( \ tf.losses.sparse_softmax_cross_entropy( \ G人 w • Distributed training / logits=logits, labels=labels)) #distributed training on Spark optimizer = TFOptimizer.from_loss(loss, Adam(…)) \ inference on Spark optimizer.optimize(end_trigger=MaxEpoch(5)) CU AI AI Pioneer 15

17 . 区术 cn #Spark dataframe transformations 社 parquetfile = spark.read.parquet(…) 技 g. train_df = parquetfile.withColumn(…) 能 cu #Keras API model = Sequential() 智 ai .add(Convolution2D(32, 3, 3, activation='relu', input_shape=…)) \ .add(MaxPooling2D(pool_size=(2, 2))) \ 工 . .add(Flatten()).add(Dense(10, activation='softmax'))) ww #Spark ML pipeline G人 w Estimater = NNEstimater(model, CrossEntropyCriterion()) \ .setLearningRate(0.003).setBatchSize(40).setMaxEpoch(5) \ .setFeaturesCol("image") nnModel = estimater.fit(train_df) CU AI AI Pioneer 16

18 . 区术 cn 社技 g. Analytics Bolt Zoo Model 能 cu Kafka Flume 智 ai Bolt HDFS/S3 Spout Kinesis 工 . ww Twitter Bolt G人 w Spout Bolt Analytics Zoo Model Bolt CU Distributed model serving in Web Service, Flink, Kafka, Storm, etc. AI • Plain Java or Python API, with OpenVINO and DL Boost (VNNI) support AI Pioneer 17

19 . 区术 cn 社技 g. 能 cu 智 ai Analytics Zoo use cases 工 . ww G人 w CU AI AI Pioneer 18

20 . 区术 cn 社技 g. 能 cu 智 ai 工 . ww G人 w CU AI https://software.intel.com/en-us/articles/industrial-inspection-platform-in-midea-and-kuka-using-distributed-tensorflow-on-analytics AI Pioneer 19

21 . 区术 cn 社技 g. 能 cu 智 ai 工 . ww G人 w CU https://software.intel.com/en-us/articles/deep-learning-with-analytic-zoo-optimizes-mastercard-recommender-ai-service AI AI Pioneer 20

22 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 21

23 .AI Pioneer AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 22

24 . Legal Disclaimers 区术 cn • Intel technologies’ features and benefits depend on system configuration and may require enabled hardware, software or service activation. Learn more at intel.com, or from the OEM or retailer. 社技 g. • No computer system can be absolutely secure. • Tests document performance of components on a particular test, in specific systems. Differences in hardware, software, or 能 cu configuration will affect actual performance. Consult other sources of information to evaluate performance as you consider your purchase. For more complete information about performance and benchmark results, visit http://www.intel.com/performance. 智 ai 工 . Intel, the Intel logo, Xeon, Xeon phi, Lake Crest, etc. are trademarks of Intel Corporation in the U.S. and/or other countries. ww *Other names and brands may be claimed as the property of others. © 2019 Intel Corporation G人 w CU AI AI Pioneer 23

25 . AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社区 24

3点赞

2收藏

3下载