企业级全栈数据云平台TDC深度解析

1 . 星 环 科 技 1 

2 . 星 环 科 技 TDC 数据云产品深度解析 2020年6月 

3 . 星 环 科 技 1. 企业数字化需求及背景分析 

4 .开篇: 数据的价值演变 星 环 科 技 资源 资本 数据用于提供服务时，便 数据产品通过流通和交易 成为资源 实现其价值， 数据就成为 了资本 资料 资产 以数为据，记录度量物理 经过统一规范的采集、存 世界的资料 储与管理，并完成确权， 数据就变成了资产 Source：郭毅可教授，帝国理工学院 

5 .企业不同角色对PaaS平台的需求难统一 星 环 科 技 ◆ 企业管理人员/CIO/CDO ◆ 打破应用孤岛与信息孤岛 ◆ 应用中心+大数据中心+数据资产门户 ◆ 企业信息与数据安全 ◆ 企业业务用户 ◆ 应用PaaS/应用中心 ◆ 应用开发人员 ◆ 应用开发平台 ◆ 统一的应用开发、部署和管理中心 ◆ 数据工程师 ◆ 弹性、开箱即用的数据库、数据仓库或大数据服务 ◆ 数据分析人员/数据科学家 ◆ 云化的分析服务（报表，仪表板，交互式分析，机器学习与建模） ◆ 运维人员 ◆ 容器云平台 ◆ 资源管理，应用调度，图形化监控与运维 

6 . 星 环 科 技 企业数据云、应用云和PaaS建设现状 ➢ 三朵云之间互通，存在较多障碍 • 网络互通 • 安全管理 新 建 云管平台 • 资源 • 权限 • 安全 • 运维 ... • 权限管理 • 运维监控 ...... 难度大 控制面互通 耗时长 云 资 ➢ 未能充分利用资源 管 源 对 利 • 应用云夜间所需资源较少 接 用 网络互通 数据传输 • 数据云在大数据处理时，需要大量资源 难 不 度 充 安全管理 权限管控 大 分 ➢ 新建云管平台 平台云 数据云 应用云 • 同时对接3朵云，并打通控制面 云间互通障碍多 • 每朵云实现方式不同，对接难度大且耗时长 企业数据云、应用云和PaaS云分开建设，垂直管理 

7 .企业数字化与技术发展趋势 星 环 科 技 数字化业务模式 传统业务模式 • 让数据在每个环节都产生价值 业务演进 • 封闭、单向 • 用户至上，数据驱动业务，快速上线和迭代 • 基于企业内部资源 • 产品互联网化，自动化，智能化 云应用 云原生应用 单体应用 • 混合应用（以新开发的云应用为主，包 • 应用采用微服务架构 • 集中式应用 括少量遗留的单体应用） 应用模式 • 大型数据库（Oracle RAC, etc) • 混合数据库（MySQL等支持新型应用， • 使用分布式数据库 • 采用DevOps开发模式 辅助Oracle RAC等) 独立数据库 数据统一模式 大数据3.0模式 • 大型数据库（Oracle RAC, etc) • 构建大数据和AI平台，统一汇总数据与 • 构建数据交换与共享体系 数据模式 • 应用驱动 + 垂直建设，满足业务需求 计算资源 • 融合大数据与AI能力 为主，数据孤岛华 • 满足大数据业务为主要目标，如数仓、 • 提供数据资产与服务层 画像，独立的硬件部署 • 支持多租户能力，以云化模式为主 基础云阶段 云原生阶段 虚拟化阶段 IT 模式 • 物理机+虚拟机+SAN存储 • 采用IaaS平台+大数据平台 • 包含容器平台+大数据平台+AI平台 • 开源虚拟机为主，少量物理机 • 容器为应用主要载体，虚拟机辅助 • 烟囱式架构 • 采用分布式存储 • 采用分布式存储 传统IT模式 基础云IT模式 云原生IT模式 

8 .大数据业务的发展趋势 星 环 科 技 数据生态化 数据统一化 数据资产化 数据业务化 业务智能化 @ 统一的大数据平台 数据质量管理 数据化运营 数据业务闭环 统一的元数据标准 数据安全与隐私管理 智能应用 运营数据 统一的存储与管理 数据生命周期管理 在线数据服务 服务和应用共享 企业大数据业务演进路线 

9 .企业数据云、应用云和PaaS云的融合 星 环 科 技 ➢ 平台包含三朵云 • 无需新建云管平台 云平台门户 • 应用和数据互融互通 统一管理 云间弹性 ➢ 统一实现方式 云 资源 • 网络互通 • 安全管理 间 网络互通 数据传输 权限 • 权限管理 • 运维监控 互 安全管理 权限管控 安全 融 PaaS云 数据云 应用云 运维 ➢ 资源利用率得到充分提升 互 通 • 弹性伸缩 ... 底层支撑平台 • 三朵云资源能互相借用 ➢ 统一管理，降低时间和运维成本 统一 ◆ 融合 ◆ 弹性 ◆ 易用 • 资源、权限、安全、运维等统一管控 

10 .数据云 - 企业数字化基础设施建设的新方法 星 环 科 技 传统云 数据云 以数据为中心，提供数据分析、应用开发和智能建模的完整工具链， 以资源为中心 数据为中心业务导向 加速数据、应用和智能三大核心原料的融合 通过容器化技术来运行有状态和无状态的各种工作负载，提供多租户、 虚拟化 容器化 自动扩展、服务自监控、自动化冗余能力，实现开发与运维的平衡 需要构建数据、应用互通互联的混合云技术，来打通运行在公有云、 独立管控 融合互通 私有云和边缘端的数字化应用或模型 以业务为导向，构建对外业务输出的业务服务层，积累出企业的数据 烟囱式技术栈 层次化设计 业务中心，并打造能够支撑各种工作负载的基础平台 数据云 – 以新一代云原生技术打造的，以数据为中心，通过提供完整的数据、应用和智能的开 发工具，实现数据和应用互通互联的云技术 

11 . 星 环 科 技 2. TDC数据云整体介绍 

12 .星环新一代智能大数据云平台：Transwarp Data Cloud 星 环 科 技 • 业内首个通过云原生技术提供完 整的大数据和数据库PaaS、应 用PaaS和分析PaaS的融合数据 云产品。 • 相对业内通过各种混合方式构建 的数字化解决方案，TDC能更好 的促进数据、应用和智能的融合。 「 融合数据、应用、分析PaaS，助力企业数字化转型的一站式云平台 」 

13 .TDC有效融合三朵云 星 环 科 技 统 云平台门户（统一管理） TDC平台特点 一 ➢ 统一 应用市场 中间件 数据应用 服务治理 • 统一实现方式： ... 权限、安全、网络、运维... 应用云 部署 开发平台 DevOps 微服务 应用发布 • 统一管理 互 融 资源 ➢ 互融 权限 • 平台、数据、应用可相互融合 数据仓库 数据集市 数据治理 数据产品 ... • 构建“应用、数据、创新”的良好生态 数据云 弹 安全 性 数据科学 分析型数据库 数据流通 实时计算 ➢ 弹性 运维 • 云间、云内的资源弹性 • 满足不同业务场景需求 多租户体系 资源管理 镜像管理 虚机服务 ... ... 易 平台云 ➢ 易用 用 星环Kubernetes • 门户管理所有平台内信息 • 多维度体系支持运营运维 星环Kubernetes全面友好支撑大数据平台，目前业界唯一 

14 .TDC底层技术K8S+Docker 星 环 科 技 – 细分应用程序为微服务 – 将每个部分包装到自己的容器中 – 并动态编排这些容器以优化资源利用率 非虚拟化硬 虚拟化 基础设计即 平台即服 开源的 开源的 容器 云原生 件 服务 务 IaaS PaaS 2000 2001 2006 2009 2010 2011 2013 2015 K8S+Docker已成为原生云平台的事实标准 

15 . 星 环 科 技 TDC数据云服务关键技术 • 容器平台的选型 Docker + Kubernetes技术 • 服务编排、调度与资源管理 • 支持有状态服务的云存储服务 第三方应用 • 存储感知的调度策略 • 大数据应用的服务切分 • 服务与应用的编排系统 服务编排 云存储 应用市场 • 资源池化 Neptune 网络服务 Wormhole WarpDrive 数据库服务 • 支持大数据服务的调度系统 • 多租户服务的SLA控制 • 数据局部性让计算最优化 Prometheus • 多租户安全管理体系 Docker Ceph Haproxy IPVS • 存储隔离 ELK • 网络隔离 NV-Docker 调度系统 Flannel DNS • 安全管理中心 Guardian • 高效的运维体系 NV-MPS Kubernetes • 指标监控告警系统 TOS Manager • 日志系统 Transwarp Operating System 

16 . TDC数据云优势 星 环 科 技 构建企业数据生态云 按需的云、弹性的云 将平台、数据、应用完美融合，构建一个统一的 资源池化，按需分配，快速调度，环境隔离，及时回收； 云平台，支撑企业数据生态，数据 、服务、应用 支持云产品一键式部署、扩容、缩容；通过创新的抢占式 三者互相促进，产生闭环，促进生态 资源调度模型，让批量作业和实时业务在互不干扰的情况 下分时共享计算资源 多租户的云 自助式大数据云服务 通过重写资源管理框架实现了更好的资源隔离， 支持涵盖数据生命周期的全图形化的大数据服务，包 包括CPU、内存、网络、硬盘；在安全管控的 含ETL、数仓、报表、检索、数据挖掘和数据库等大数 前提下实现了资源、数据、应用的共享 据与人工智能产品；提供云化的数据库与数据服务 丰富的微服务治理功能 云原生DevOps 包括服务注册、服务发现、服务监控、熔断、容 提供提供一站式开发环境，结合星环多年项目实 错、调用链管理等，有效解决微服务的分布式特 战经验，实现DevOps落地，实现应用快速迭代上 点带来的管理复杂性；支持存量应用的平滑迁移 线，赋能企业应用创新 

17 . 星 环 科 技 3.1 TDC数据PaaS 

18 .TDC数据PaaS基本功能 星 环 科 技 云化的大数据产品栈 全方位的数据资产管理 基于Inceptor的星环新一代逻辑数据仓库 全生命周期的管理与监控 基于ArgoDB的星环新一代高性能数据集市 全流程记录的追本溯源 …… 全景式的资产可视化 多租户的大数据共享服务 自动化的数据标签 细粒度的数据权限管控 通过自动化数据分析实现数据智能标签服务 通过自动化的作业调度完成数据的申请和分发 使用标签来管理和检索数据 设置数据分区，实现数据的安全和共享 

19 .提供云化的大数据产品栈 星 环 科 技 数据仓库 闪存数据库 全面整合各类数据，按照主题组织信息， 可替代 Hadoop+MPP 混合架构，一站式满 构建商业智能核心 足大数据平台的各种诉求，更高效地使用大 数据平台，从而更好地实现大数据价值 数据集市 关系数据库 面向部门级业务，提供星型和雪花模型构 构建企业关系型数据库，处理数据量在 建OLAP Cube，实现交互式分析以及自 500GB以内的OLTP业务。支持复杂SQL 动化的报表应用构建 查询，提供高稳定、可扩展、强一致保证 实时计算 图数据库 云上的流处理平台，对流式数据进行实时 面向属性图的综合性分布式图数据库，能 采集和实时处理，帮助企业构建在线实时 够支撑千亿边规模的超大图，为业务人员 应用，充分挖掘流数据价值 提供存储、查询和分析图的能力 综合搜索 第三方产品 PB级别的高速全文检索服务，提供高并 与SmartBI、永洪BI、Tableau等第三方 发支持，以及字段精确、模糊检索和快速 产品无缝对接 统计功能，支持用SQL做内容检索 默认产品套件 

20 .自定义产品发布 星 环 科 技 填写产品基本信息 选择产品所需组件 「 简单的自定义产品发布流程 」 

21 .产品部署安装 星 环 科 技 「 支持自定义资源配置模板、部署简单快捷 」 

22 .Transwarp Studio – 完整的数据仓库构建工具 星 环 科 技 ETL 工具 - Transporter 工作任务调度器 - Workflow Cube 设计器 - Rubik 数据整合 数据加工 数据治理 数据模型 数据可视化 SQL IDE - Waterdrop 数据资产管理- Catalog 报表工具 - Pilot 数据中台.mp4 

23 .一站式解决数据资产管理的问题 星 环 科 技 元数据管理 企业数据资产目录 统一数据管理平台 采集和展现 提升数据质量 数据社区 血缘分析 加速数据准备 数据共享 数据监控大屏 统一业务理解 报表集市 解决问题 解决问题 解决问题 ✓ 数据溯源 ✓ 数据孤岛 ✓ 数据融合应用 ✓ 数据理解 ✓ 提升分析效率 ✓ 传统方式费时费力 

24 .数据共享管理 星 环 科 技 • 共享数据管理 – 确定共享资源目录：若共享资源目录缺失，需按照流程申请共享目录 – 梳理共享数据资源：遵从数据标准梳理共享资源的基本信息，包括数据集名称、数据描述、数据集标签、 数据类型、数据集访问权限、... – 发布共享数据资源： 各租户内数据资源操作员可通过共享交换平台添加数据集并申请发布，租户数据资 源管理员对拟发布的数据集信息内容进行审核，审核通过后提交交至共享交换平台管理员处，共享交换 平台管理员经规范性审核通过后，完成数据集发布。 – 更新维护共享数据：数据变更或下架需要操作人员提交工单按照流程实现 确定共享资源 梳理共享数据 发布共享数据 更新维护共享 目录 资源 资源 数据 

25 . 星 环 科 技 3.2 TDC应用PaaS 

26 .TDC应用PaaS基本功能 星 环 科 技 一站式云端DevOps开发平台 容器化应用 打通DevOps工具间的认证和权限管控，提供一站式云 支持细粒度权限管控的企业容器镜像市场 端DevOps平台 支持传统应用的容器化改造和部署 支持自动化构建和持续集成，实现应用快速迭代上线 容器化应用，实现应用的快速交付和部署 丰富的微服务治理功能 应用市场 提供微服务治理功能，包括微服务治理框架、微服 支持用户自定义的应用上架 务注册、微服务监控分析、访问控制、熔断、容错、 支持对自定义应用的参数进行页面化配置 故障隔离、微服务调用链管理等 支持对自定义应用使用的资源进行页面化管理和配置 丰富的应用支撑 支持自定义产品发布 支持主流的互联网应用中间件，如Weblogic、Tomcat等 支持对多个微服务做依赖管理、资源配置，编排为一个 支持docker hub上经过认证的开源工具 产品进行发布 支持常用的关系数据库和非关系数据库 支持对自助上架的应用或产品定价 支持星环数据仓库、数据集市、人工智能等大数据产品 

27 .应用开发平台和应用市场 星 环 科 技 开发平台：应用发布和管理 应用市场：应用浏览和部署 

28 .TDC应用服务目录 星 环 科 技 计算服务 分布式数据库 数据分析 开发平台 • 虚拟机 • 交易型数据库 • 报表工具 • DevOps流水线 • 专属宿主机 KunDB • 效能平台 • GPU主机 • 分析型数据库 • K8S应用开发 ArgoDB Web中间件 • 项目管理 • 图数据库StellerDB • 开源组件 存储服务 • Weblogic • 镜像管理 • Tomcat • 对象存储 • LAMP • 共享存储 大数据服务 • NodeJS • 数据集市 • .Net Core 应用市场 • 实时计算 • Java Engie 网络服务 • 企业自研应用 • 搜索引擎 • Python Engine • 负载均衡 • 数据仓库 数据中间件 微服务 数据库服务 大数据开发 • Kafka • SpringCloud • RabbitMQ • API网关 • MySQL • 大数据开发工具 • Canal • 服务追踪 • Redis • 数据资产目录 • Oracle Gold Gate • 服务注册 • Codis • 数据指标平台 • 应用多云发布 • MongoDB • 数据管控工具 人工智能 • 时序数据库 • 数据灾备工具 • 监控与运维工具 • 建模平台 • 知识图谱 

29 .助力企业构建数据应用中心 星 环 科 技 交易系统聚合 营销系统聚合 生产系统聚合 营销系统 交易系统 生产管理系统 人事系統 消息服务 文件服务 位置服务 用户服务 财务系统 分析系统 客户管理系统 … 订单服务 认证服务 支付服务 工单服务 原单体业务系统 微服务平台 1. 规划调研 5. 微服务平台上线 应用中心设计阶段 应用中心开发运维阶段 企业业务系统梳理 服务分层划分 需求管理 自动配置 中台概念架构设计 版本管理 弹性部署 业务功能拆分 中台部署拓扑设计 自动构建 灰度发布 （可融合调用关系） 2. 梳理 3. 拆分完 4. 开发测 领域->服务 完成，进 成，进入 试完成， 行微服务 单个微服务详细设计 开发阶段 自动单元/集成测试 进入部署 熔断降级 拆分 阶段 单体/服务评分表格 微服务平台/框架选型 软件包/镜像仓库 日志收集/监控告警 单体应用梳理 微服务设计 微服务开发（测试环境） 微服务运维（生产环境）