在Flink上使用Analytics Zoo进行实时、分布式深度学习模型推理

1 .在Flink上使用Analytics Zoo进行实时、分布式深度学 习模型推理 

2 . 目录 Contents 1. 大规模人工智能应用面临的挑战 AI production at scale is facing lots of challenges. 2. 统一的大数据分析及人工智能 Integrated Data Analytics and AI. 3. 跨行业的端到端客户案例实践 Cross-industry End to End Use Cases. * 文中涉及的其它名称及商标属于各自所有者资产 。 

3 . 01 大规模人工智能应用面临的挑战 01 AI production at scale is facing lots of challenges * 文中涉及的其它名称及商标属于各自所有者资产 。 3 

4 . 以数据为中心的世界 The Data-Centric World * 文中涉及的其它名称及商标属于各自所有者资产 。 4 

5 . 大规模人工智能应用 AI Production at Scale 数据驱动深度学习和人工智能应用 Data drives deep learning and AI production “Machine Learning Yearning”, Andrew Ng, 2016 * 文中涉及的其它名称及商标属于各自所有者资产 。 5 

6 . 大规模人工智能应用 AI Production at Scale 正面临巨大的挑战 Facing Lots of Challenges “Hidden Technical Debt in Machine Learning Systems”, Sculley et al., Google, NIPS 2015 * 文中涉及的其它名称及商标属于各自所有者资产 。 6 

7 . 02 统一的大数据分析及人工智能 02 Integrated Data Analytics and AI * 文中涉及的其它名称及商标属于各自所有者资产 。 7 

8 . 统一的大数据分析及人工智能 Integrated Data Analytics and AI * 文中涉及的其它名称及商标属于各自所有者资产 。 8 

9 . 大数据上的人工智能 AI on Big Data * 文中涉及的其它名称及商标属于各自所有者资产 。 9 

10 . 统一的数据分析和AI流水线 End-to-End Big Data Analytics and AI Pipeline * 文中涉及的其它名称及商标属于各自所有者资产 。 10 

11 . Analytics Zoo 统一的大数据分析+人工智能平台 Integrated Big Data Analytics and AI platform https://github.com/intel-analytics/analytics-zoo * 文中涉及的其它名称及商标属于各自所有者资产 。 11 

12 . 分布式 TensorFlow* 流水线 Distributed TensorFlow* Pipeline • Data loading, processing and feature engineering with Big Data • Deep learning model development using TensorFlow* or Keras* • Distributed training / inference on Big Data * 文中涉及的其它名称及商标属于各自所有者资产 。 12 

13 . 分布式 TensorFlow* 流水线 Distributed TensorFlow* Pipeline * 文中涉及的其它名称及商标属于各自所有者资产 。 13 

14 . 分布式、实时 (流式) 模型推理流水线 Distributed and Real time (streaming) Inference Pipeline • 纯Java或Python API • 支持Flink*, Spark* Streaming, Storm*, Kafka*等 • 支持Web Services • 使用OpenVINO和DL Boost(VNNI) 加速 Analytics Zoo Model Analytics Analytics Analytics Zoo Model Zoo Model Analytics Zoo Model Zoo Model Analytics Zoo Model Analytics Zoo Model Analytics Zoo Model Analytics Zoo Analytics Model Zoo Model Analytics Zoo Model * 文中涉及的其它名称及商标属于各自所有者资产 。 14 

15 . POJO Style的Inference Model POJO Style Inference Model • 纯Java API, 不依赖于任何计算框架，不需要 特别的上下文 • 可使用于单机Java/Scala程序，Web Serving，Cluster Serving包括批处理，流处 理等场景 • 支持Flink*, Spark* Streaming, Storm*, Kafka* 等 * 文中涉及的其它名称及商标属于各自所有者资产 。 15 

16 . Inference Model 支持多种深度学习框架的模型 Inference Model supports lots of Deep Learning Frameworks • 支持多种深度学习框架的模型 • BigDL • Caffe* • Tensorflow* • PyTorch* • OpenVINO* • 简单易用的API • 加载模型 • Laod • loadCaffe • loadTF • loadPyTorch • loadOpenVINO • 预测 • predict * 文中涉及的其它名称及商标属于各自所有者资产 。 16 

17 . 线程安全的Inference Model Thread-Safe Inference Model • 支持线程安全多模型 • concurrentNum • model = modelQueue.take • autoScalingEnabled • model = modelQueue.poll() • model = this.originalModel.copy(1)(0) • 多模型共享weights * 文中涉及的其它名称及商标属于各自所有者资产 。 17 

18 . 使用OpenVINO*加速模型推理 Model inference accelerating with OpenVINO* • 支持Image Classification 和Object Detection等 • 支持加载TensorFlow*模型 • 支持模型动态Optimize及Calibrate • 支持直接加载OpenVINO IR * 文中涉及的其它名称及商标属于各自所有者资产 。 18 

19 . Web Serving * 文中涉及的其它名称及商标属于各自所有者资产 。 19 

20 . Analytics Zoo Cluster Serving 使分布式推理更加简单 Distributed Inference made easy with Analytics Zoo Cluster Serving * 文中涉及的其它名称及商标属于各自所有者资产 。 20 

21 . Analytics Zoo Cluster Serving 使分布式推理更加简单 Distributed Inference made easy with Analytics Zoo Cluster Serving * 文中涉及的其它名称及商标属于各自所有者资产 。 21 

22 . 03跨行业的端到端客户案例实践 03 Cross-industry End to End Use Cases * 文中涉及的其它名称及商标属于各自所有者资产 。 22 

23 . 基于NLP的客户服务Chatbot for Microsoft Azure NLP Based Customer Service Chatbot for Microsoft Azure https://software.intel.com/en-us/articles/use-analytics-zoo-to-inject-ai-into-customer-service-platforms-on-microsoft-azure-part-1 https://www.infoq.com/articles/analytics-zoo-qa-module/ * 文中涉及的其它名称及商标属于各自所有者资产 。 23 

24 .* 文中涉及的其它名称及商标属于各自所有者资产 。 24 

25 . Apache Flink* 极客挑战赛垃圾图片分类 * 文中涉及的其它名称及商标属于各自所有者资产 。 25 

26 . 使用Analytics Zoo作迁移学习 Transfer Learning with Analytics Zoo • TFNet load TensorFlow* Saved Model • Add extra layers • Training with Estimator * 文中涉及的其它名称及商标属于各自所有者资产 。 26 

27 . 在Apache Flink*中使用Analytics Zoo进行分布式模型推理 Distributed Model Serving with Analytics Zoo in Apache Flink* * 文中涉及的其它名称及商标属于各自所有者资产 。 27 

28 . 使用Analytics Zoo Cluster Serving进行分布式模型推理 Distributed Model Serving with Analytics Zoo Cluster Serving * 文中涉及的其它名称及商标属于各自所有者资产 。 28 

29 . 使用Analytics Zoo Cluster Serving加速医疗影像分析 Accelerate medical image analysis with Analytics Zoo Cluster Serving https://en.wikipedia.org/wiki/X-ray * 文中涉及的其它名称及商标属于各自所有者资产 。 29