Kubernetes for Edge Computing across Inter-Continental Haier

1 . Kubernetes for Edge Computing across Inter-Continental Haier Production Sites Jiyuan Tang & Xin Zhang tangjiyuan@caicloud.io zhangxin@caicloud.io 

2 . 关于我们 • 开源技术创新者 • 从 Kubernetes 到 Kubeflow • Google 原生 Borg 容器团队 • CMU 校友与世界金牌、冠军 • 中国技术社区引领者 • Kubernetes 中文官网组织者 • github.com/kubernetes/kubernetes-docs-cn • TensorFlow 中文社区运营者 • tensorflowers.cn • Kubeflow Chinese community initiator • 企业级产品与解决方案 • Compass: 打通业务与数据、从数字化到智能化转 型 • Clever: 基于容器的 AI PaaS 平台（AI Devops、资 源管理任务调度） 

3 . 工业互联网平台 - 制造业大势所趋 • 全球工业互联网平台数量 > 150 国家 研究内容 代表成果 政策扶持 工业互联网综合平台，采用数据流打通与 Predix平台 GE联合AT&T, CISCO, IBM, INTEL等企业组建工业互联网 数据分析衍生价值的结构 联盟(IIC), 发布参考架构IIRA. 基于云的开放式物联网操作系统，实现全 Mindsphere平台 德国联邦政府支持相关行业协会建设工业4.0平台，负 面的系统集成和数据融合，打破数据孤岛 责工业4.0国家战略的宣传推广，标准制定，人才培养 和技术研发。 以工业大数据为驱动，以云计算，大数据， INDICS平台 2017年11月，国务院印发了《关于深化“互联网+先进 物联网技术为核心的工业互联网开放平台， 根云平台 制造业”发展 工业互联网的指导意见》(以下简称: 实现产品，机器，数据，人的全面互联互 COSMOPlat平台 《指导意见》)，明确将打造平台 体系作为七大任务之 通和综合集成 … 一，提出构建工业互联网标准体系，实施标准研制及 试验验证工程。 • GE 波音 罗克韦尔 IBM INTEL CISCO 微软 AT&T PTC HP DELL EMC • SAP 博士 SIEMENS ABB 英飞凌 • 海尔 三一 航天科工 徐工 美的 华为 阿里云 • 三菱 东芝 日立 索尼 富士通 富士 三星 ETRI infosys Tata 

4 .工业互联网 - Predix 

5 .海尔工业互联网 - COSMOPlat 

6 .海尔工业互联网 - COSMOPlat 

7 . 海尔集团业务转型 - 机遇与挑战 应用形态复杂 资源利用率KPI • 传统工业应用：SCADA, MES, • KPI: 峰值CPU利用率不低 ERP, SAP, ORACLE 于30% • 互联网类应用：顺逛，海尔商 01 02 • 资源申请 ：按峰 值30%进 城，巨商会，海尔服务，好空 行申请 气，海尔洗衣机，海尔优家， • 峰 值 ： 1000TPS, 平 时 ： 嗨付，够花 100TPS 应用互联互通 外包开发模式 • 应用：统一架构模型，统一服 • 做自己擅长的事情，合作 务总线 04 03 方式开发 • 体系：用户体系，产品体系， • 产品迭代：如何持续演进 流程体系 和优化 • 管理：服务集成，统一管理 • 外包管理：如何标准化降 低管理成本，提高质量 

8 .海尔集团业务转型 - 架构演进 

9 .工业互联网 - 行业分析 

10 .海尔工业互联网 -才云整体解决方案 

11 . 海尔工业互联网 - 才云整体解决方案 业务中台 数据中台 IOT中台 弹性伸缩 应用编排 CI/CD 数据管理 AI工具 边缘计算 API API API Gateway 日志监控 API 微服务 大数据 深度学习 数据通道 告警 负载均衡 服务发现 应用商店 机器学习 资源管理 数据分析 面向业务管理 面向业务开发 面向数据与智能 面向行业解 决方案 运维中台 云端操作系统 多集群管理 多租户管理 镜像仓库 认证鉴权 资源管理 存 储 网 络 混合云 监控日志 基础服务 

12 . 海尔工业互联网 - 微服务之框架支持 Eureka Ribbon Apidoc Metrics Config Server Netflix Hystrix spring boot Trace （git based） Feign Zuul Feign Zuul spring boot Kubernetes Springcloud： 海尔框架： • 相对封闭 • Quickstart工具支持，填写应用名称，快速生成代码框架 • 技术栈比较重 • 充分借助容器平台功能 • 需额外维护注册中心 • 一些场景在容器平台中已不复存在 

13 . 海尔工业互联网 - 微服务之负载均衡 node caicloud.io/a 路 E.P. pod pod LB 由 node caicloud.io/a caicloud.io/b V E.P. pod pod IP caicloud.io/b node Client LB 路 由 E.P. pod pod node node 负载均衡器（LB）: 路 由： • 支持私有云LVS, 公有云SLB • Ingress控制器+Nginx • 支持X.509证书 • 支持子域名到服务路由 

14 .海尔工业互联网 - 微服务之配置管理 配置中心优势 : 应用-A • 配置简单 • 易用的用户界面 • 批量动态更新配置到应用 应用-B • 编程接口简单 配置中心 • 镜像与配置分离 • 按项目管理配置 应用-C 应用-D 

15 .海尔工业互联网 - 微服务之服务集成 APP-A 协议适配: • 提供常用协议服务的接入、转换（Dubbo，XML） • 灵活定制化的数据变换 Gateway 控制能力: 服务总线 Auth N • 认证鉴权机制 • 流量控制 Auth Z • 黑白名单 • 服务路由 APP-B APP-C 可靠高效: • 分布式，高可用 • 高性能，低延迟 • 线性扩容 

16 . 海尔工业互联网 –微服务之监控日志 Short-lived jobs Prometheus Server（Pod） Push Gateway Web UI（Pod） pod Jobs / Exporters Retrieval Storage PromQL Grafana（Pod） host Prometheus Server API Node Targets Data pod Endpoints Local Storage host Node 监控维度: 业务采集指标: 数据采集方式: 数据存储方式: 数据展现方式: • 宿主机 • 访问量 • Push：非标 • OpenTSDB • 自开发页面 • 容器 • 错误率 • Pull： • Prometheus • Kibana • 应用 • 调用耗时 • Filebeat扩展 • ES • 业务 • 饱和度 

17 .海尔工业互联网 – 才云数据解决方案 Clever GPU 集群管理 模型开发 实现对 GPU 集群资源进行管理，根 对接存储系统，管理数据集；提供 据用户作业请求自动分配和回收 notebook 交互式代码开发和调试工 GPU 资源。 具；管理数据预处理批作业。 模型训练 模型服务 提交多框架（TensorFlow、PyTorch 模型版本管理，模型推理服务的部署 、MxNet等）的模型训练作业，支 、监控、管理和升级，提供 A/B test 持分布式和 GPU 加速，以及训练过 和滚动升级。 程的可视化。 

18 .海尔工业互联网 – 才云数据解决方案 

19 .海尔工业互联网 – 才云数据解决方案 

20 .海尔工业互联网 – 才云数据解决方案 

21 .海尔工业互联网 – 才云数据解决方案 

22 .边缘计算场景 1. 海尔在全球有许多工厂 2. 工厂里的机器不多 3. 这些机器上跑了一些容器服务 4. 因为机器数量不多，不希望每个工厂组成一个 k8s 集群 5. 也不可能将这些工厂的机器作为 node 节点添加到青岛 的 k8s 集群，因为可能受到 vpn 等网络的限制 6. 这些分布在各个工厂的零散的机器上跑的容器服务就称 为边缘容器服务 7. 海尔希望有一个多租户平台既能管理多个 k8s 集群，也 能把这些边缘节点管理起来，为每个租户提供 k8s 分区 资源和边缘节点资源。 

23 .租户资源 NS NS NS NS Tenant #1 NS NS NS NS NS NS NS Tenant #2 NS NS NS Dev Test Staging Endpoint K8S Cluster K8S Cluster K8S Cluster Servers 

24 .Compass 1. 多集群多租户 2. CICD（github、gitlab，流水线配置） 3. 多镜像仓库（支持镜像同步） 4. 应用编排、模版、商店 5. 应用发布（灰度发布、滚动升级） 6. 应用弹性伸缩 7. 日志、监控告警 8. 配置管理 9. 多种存储（NFS、GlusterFS、Ceph、NAS） 

25 .Compass 

26 .Compass 支持边缘容器服务 1. 集群和边缘节点共享资源 • 共享用户系统 • 共享认证和授权 • 共享监控告警系统 • 共享 Docker registry • 共享日志管理系统 

27 .Devop App to NS or Endpoint Server K8S Cluster Compass K8S Cluster K8S Cluster 

28 . Endpoint-admin Architecture Web console • 为用户提供资源展示和 UI 交互界面 Endpoint-admin Server • 为 Console-web 提供 Rest API 服务 • 与 Endpoint-admin Client 进行通信 • 接受 Endpoint-admin Client 心跳信息 Endpoint-admin Client • 提供代理服务 • 调用容器 API 执行相关命令 • 上报心跳信息 • 上报监控信息 

29 .List and add endpoint server