黑湖制造&VoltDB webiner-VoltDB助力智能制造V2

1 .VoltDB助力智能制造实时决策 www.voltdb.com 

2 . 5G+智能制造 2 

3 .智能制造加速跑 – 5G商 用 ““到2020年，整个5G企业市场价值预计将达到23 亿美元，到2026年预计将达到317亿美元，复 合年增长率为54.4%。” “尽管消费者是推动5G发展的主要力量，但通信服 务供应商们将越来越多地将5G服务瞄准企业。” “在短期内，驱动5G需求的将不是消费者，他们 的需求目前主要通过4G得到满足，而是企业和 政府，将在多种应用场景下受益于下一代无线 技术。” 

4 .智能制造模型 工业4.0 网络分片 

5 .5G为制造业带来了什么 随需应变，快速推出创 5G将带来哪些变化： 新服务 • 峰值网络速率达到10Gbps以上 • 网络传输速度比4G快10~100倍 • 网络时延从50毫秒缩短到1毫秒 按需使用 营收和持续增长 稳定的服务质量 • 满足千亿量级的网络连接 服务变现 标准化 新机会： • 物联网应用普及 开放接口 差异化网络规则 5G • 网络切片 • 智慧工厂 实时生效 策略 灵活扩展 模块化应用 • 自动化控制 • 工业AR 服务内实时升级 数据变现 实时发现价值 可升级 可运营 易于使用和管理 

6 .VOLTDB的核心价值 <10ms 

7 . VOLTDB简介 1980 1996 2003 2005 2009 VOLTDB是由2014图灵奖得主、 冯诺依曼奖获得者 、 美国国家工程院院士 、 Postgres和Vertica等产品的联合创始人Mike Stonebraker博士领导开发的下一代关系型、内 存数据库管理系统，面向毫秒级实时事务处理、实时数据分析、边缘计算和复杂流处理计算等 应用。 VOLTDB大幅降低了服务器资源开销，首先实现在廉价x86服务器集群或虚拟环境上实 现每秒数百万次数据处理。单节点每秒数据处理远远高于其它数据库管理系统。 VOLTDB提供开源版本和商业发行版本。 VOLTDB中国 VOLTDB于2017年官方正式进入中国市场，已经建立了本土团队，包括销售、研发、售 前售后和市场推广等职能。国内团队目前分布在北京、南京、成都。VOLTDB承若可为国内商 业客户提供7X24的远程和现场售后支持服务。 7 7 

8 . 架构概览 8 

9 . 技术探索 Mike Stonebraker博士的研究团 队通过对传统数据库进行分析，发现 数据只有​12%​左右的CPU时间在 做真 正有意义的数据操作，而其他绝大部 分时间都被缓存，并发控制等消耗了。 传统数据库有约88%的CPU时间 都消耗在这些对于实际操作无意义的 步骤上，要提升数据库性能，只有从 根本上减少这些冗余的步骤，集中进 行数据运算，才能完全利用 CPU。 9 

10 . VOLTDB设计理念 VOLTDB的设计动力源于系统对于数据的时效性要求越来 越高、越来越迫切，而传统数据库由于架构陈旧、数据在本地 VOLTDB、NoSQL和传统关系型数据库的对比如下所示： 文件保存，所以不论并发还是处理速度，都难以满足要求。而 新型的NoSQL数据库，又缺乏SQL支持以及完整的ACID和事务 的支持，完全无法替代传统数据库。 VOLTDB采用类MPP架构，完全在内存中运行，提供定期 拍摄磁盘快照的选择。采用横向可扩展的架构。传统的关系数 据库将数据写入基于磁盘的日志文件。 VOLTDB则不然，是同 时对内存内的多台机器进行修改。例如，即使两台机器发生故 障，K-Safety系数为2时即可保证不会造成数据损失，因为数据 至少存入三个内存节点。 事务作为存储过程(stored procedure)提交，可在数据库 中异步执行，并且数据自动分区（分片），分配至系统内的节 点，尽管可复制维表数据以最大限度地提高连接性能。 VOLTDB有一点不同寻常，同时兼容多种数据类型还能以JSON 数据结构的形式，支持半结构化数据，支持建立一级、二级索 引。 10 

11 .VOLTDB技术创新 对比 VoltDB 的设计 传统数据库设计 全内存计算 缓存管理 按CPU内核分区 锁和闩管理 多分区并行 数据库外事务控制 数据库内事务控制 无共享设计 共享架构 

12 . 产品特点 12 

13 . 内存计算 数据落盘 VOLTDB是完全的内存数据库，所有的计算都在内存中完成，数据 都存放在内存中，保证了计算和数据在最接近的地方。完全内存的计算保 证了最大化利用现有硬件的能力，实现几毫秒内的快速响应能力，数据完 全内存化存储避免了导致缓慢的I/O开销。 同时VOLTDB为了完全满足ACID要求，避免在服务器关机和突发情 况（如断电等 ）下造成数据丢失， VOLTDB采用了命令日志与快照结合 的数据持久化方案，保证了数据在服务器关闭或者断电后也完全不会丢失 并在硬件恢复时快速恢复。如应用期待保持ACID的同时获得最大的性能， 建议使用SSD存储。 数据恢复 • 命令日志 + 快照 • 保证所有数据完整性 • 只追加写入命令和参数 • 最大化磁盘吞吐量 • 多节点数据持久化并行完成 13 

14 . 安全易用 标准SQL ACID VOLTDB使用标准SQL，包括 CREATE INDEX,CREATE VOLTDB能够在保证事务完整性的同时提供并发和性能线 TABLE, CREATE VIEW ，SELECT, INSERT, UPDATE, 性扩展的能力;VOLTDB把每个事务都当作一个存储过程， 保证 DELETE操作等。学习成本和代码迁移成本很低，代码复用程度 数据一致性。传统的数据库为了保证事务完整性，往往耗费非常 高，现有使用SQL实现的应用，可以相对容易的迁移到VOLTDB。 多的CPU资源在锁、插销和缓冲区管理这些执行准备工作上，阻 碍了数据库的性能和扩展能力。VOLTDB通过全局事务串行执行 和单线程分区并行执行，保证事务执行串行隔离，同时避免了锁 的使用和缓冲区的管理，同时满足ACID和高性能。 复杂计算 VOLTDB使用行式结构化数据存储，兼容JAVA数据类型，同 时提供了多表JOIN、聚合、窗口、地理等查询。同时，VOLTDB JDBC 提供数据即席查询(Ad-Hoc)，可根据自己的需求灵活的选择查询条 VOLTDB兼容JDBC，允许用户进行动态的SQL查询，动态 件，以作为实时数据分析和实时数仓使用。 SQL查询也能参与存储结构优化，所以可根据应用需求结合预先编 好存储过程一起使用。 14 

15 .统一的实时流数据处理平台 Stream Real Time Datastore Ingestion Processing VOLTDB同时兼备流式加载、实时计算、数据存储的特性，一站式解决结合 上下文的实时流处理应用需求，避免了多种工具组合带来的延迟和风险。 

16 . 高可用 ⏤ 数据多副本 数据多副本分布 VOLTDB可以自定义设定数据的副本数量（0 ~ 集群节点数-1）， 用户只需在表定义时设定分区字段，数据就可自动分区，副本分区保存 在不同的节点以保证有节点退出时不影响集群整体稳定性。 VOLTDB表可以分为分区表和复制表。分区表根据分区字段自动 分片，通常用来保存事实表数据。复制表在集群每一个节点有一份完整 数据，通常用来保存维表数据。所以在执行诸如多表联合查询计算时， 最大化的发挥本地内存计算优势，避免昂贵的网络开销。 VOLTDB数据多副本架构同时带来并行查询的优势，但是过多的 副本也可能导致增加数据写入和更新的延迟，通常建议副本数量不超过 3份。 16 

17 . 高可用 ⏤ 集群间复制 多活部署 集群A Binary Logs Snapshot 集群B VOLTDB支持多个集群组成多活或主备集群， 如：两地三中心、同城双活等等。多主服务器备份。 多活集群在备份的同时，每个集群还同时提供读写 操作，保证安全的同 时，提高了吞吐量。 二进制流拷贝 • 集群间同步通过压缩的二进制流，直接应用数据，不需要重新执行事务 多流并行同步 • 每个分区对应建立连接 主备部署 • 利用最大的并行同步优势 主集群 备集群 原生支持多个集群形成多活部署 支持一主多重部署 初始同步快照，增量同步二进制流 Binary Logs Snapshot 集群间同步延迟可配置 17 

18 . 生态周边 数据迁移自动化 消息队列 数据来源 分布式集群 数据目的地 标准SQL Kafka、RabbitMQ Kinesis 消息队列 Kafka、RabbitMQ 文件 其他数据库 流数据 Kinesis 批量、增量、流式 /数据湖 批量装载 Hadoop 异构应用 智能展示应用 CSV/JDBC/Kafka Vertica CLI/API HTTP/HTTPS 事务数据 生成文件 CMD/REST JDBC SDK 批量数据源 并行计算/机器学习 实时查询应用 JAVA/PHP/Python/… Socket 自动订阅 兼容Kafka Application 18 

19 . 云化部署 ⏤容器化/虚拟化 VOLTDB支持虚拟化或容器化部署，可无缝运 行于虚拟化环境。 VoltDB VoltDB VoltDB 支持特性： 集中控制、部署 虚拟机 /容器 虚拟机 /容器 虚拟机 /容器 在线扩容 (VM/Container) (VM/ Container) (VM/ Container) 在线缩容 主机操作系统 自动化编排 物理隔离 物理服务器 19 

20 . 机器学习 模型训练 训练数据模型 加载数据模型 • 使用Java定义机器学习算法 PMML PFA H2O • 通过jar包方式加载到数据库中 • 基于数据表进行模型训练 模型加载 • 新增Voltml功能模块 • 支持外部ML模型一键热加载 • 支持PMML等标准模型描述语言 20 

21 . 案例分析 21 

22 .IOT设备监控 VoltDB的价值： • 支持复杂SQL查询 • 实时数据库引擎 • 多维度实时统计设备状态及 位置 • 支持机器学习，可在线更新 • 支持实时决策 系统性能： • 45台低配云服务器 • TPS 50万/S • 25亿数据 • 平均延时<5ms 

23 .CGI 应用案例 监控智能电网传感信息，分析设备运行状态，触发指令 为能源使用的信息提供了准确的账单，为消费者提供了最 适合他们生活方式的关税，并使消费者能够更好地了解他 们的能源使用模式 实时态势感知 Voltdb的价值 高性能和可伸缩 提供对供应商/监管机构对服务用户设备和帐户的请求和消 息传递的实时低延迟处理 实时定价和计费，满足需求响应 CGI与Smart DCC有限公司签署了为期8年、价值7500万英镑的GB智能计 量实施计划 

24 .微数据中心的边缘计算 挑战： ● 在边缘虚拟数据中心整合语音、视频、数据业务等账单 ● 增强服务满意度，提高用户存续率 ● 为企业和个人提供个性化账单计划 ● 单运营商服务4.2亿用户 实现： Sterlite’s PCRF 平台基于VoltDB实现: ❏ 去中心化的小集群边缘计算架构 ❏ 完全虚拟化部署 ❏ 线性扩容 ❏ 在线按需扩容缩容 ❏ 实时策略检测 ❏ 汇聚整合预付费、后付费，细粒度的支付和网络使用计划 成果 ： VoltDB为Sterlite提供电信级数据管理平台: ● 允许用户按需使用, 实时升级, 费用预警 ● 虚拟化和容器化方式实时应对流量集中和迁移 ● 快速相应新兴的业务，把握市场机会 

25 .位置大数据实时应用 VOLTDB集群 大数据量实时计算-秒级响应 数据展示 全网监控 重点区域保障 随机坐标框选 热点、轨迹 不同粒度选择 多维数据抽取 合并过滤 历史回放 时间窗口计算 地理区域计算 多范围信息 客流历史轨迹应用示例 数据仓库 Hadoop/MPP/RDMBS 

26 .位置大数据实时应用 VoltDB的价值： • 实时数据库引擎 • 核心流计算引擎 • 实现关键交互能力 • 提供标准SQL支持 • 打造公共服务能力 系统性能： • TPS 80万/S • 几亿级别数据量 • 最低延时<5ms • 复杂查询，11个case when • 多表关联查询 

27 .位置大数据实时应用 VoltDB的价值： • 实时数据库引擎 • 核心流计算引擎 • 实现关键交互能力 • 提供标准SQL支持 • 打造公共服务能力 系统性能： • TPS 80万/S • 几亿级别数据量 • 最低延时<5ms • 复杂查询，11个case when • 多表关联查询 

28 . 谢谢 联系我们： sgao@voltdb.com www.voltdb-china.cn 28