申请试用
HOT
登录
注册
 
黑湖制造&VoltDB webiner-VoltDB助力智能制造V2
0 点赞
0 收藏
1下载
VOLTDB
/
发布于
/
214
人观看

5G为制造业带来了什么?

5G将带来哪些变化:
  • 峰值网络速率达到10Gbps以上
  • 网络传输速度比4G快10~100倍
  • 网络时延从50毫秒缩短到1毫秒
  • 足千亿量级的网络连接
    新机会:
  • 物联网应用普及
  • 网络切片
  • 智慧工厂
  • 自动化控制
  • 工业AR
展开查看详情

1.VoltDB助力智能制造实时决策 www.voltdb.com

2. 5G+智能制造 2

3.智能制造加速跑 – 5G商 用 ““到2020年,整个5G企业市场价值预计将达到23 亿美元,到2026年预计将达到317亿美元,复 合年增长率为54.4%。” “尽管消费者是推动5G发展的主要力量,但通信服 务供应商们将越来越多地将5G服务瞄准企业。” “在短期内,驱动5G需求的将不是消费者,他们 的需求目前主要通过4G得到满足,而是企业和 政府,将在多种应用场景下受益于下一代无线 技术。”

4.智能制造模型 工业4.0 网络分片

5.5G为制造业带来了什么 随需应变,快速推出创 5G将带来哪些变化: 新服务 • 峰值网络速率达到10Gbps以上 • 网络传输速度比4G快10~100倍 • 网络时延从50毫秒缩短到1毫秒 按需使用 营收和持续增长 稳定的服务质量 • 满足千亿量级的网络连接 服务变现 标准化 新机会: • 物联网应用普及 开放接口 差异化网络规则 5G • 网络切片 • 智慧工厂 实时生效 策略 灵活扩展 模块化应用 • 自动化控制 • 工业AR 服务内实时升级 数据变现 实时发现价值 可升级 可运营 易于使用和管理

6.VOLTDB的核心价值 <10ms

7. VOLTDB简介 1980 1996 2003 2005 2009 VOLTDB是由2014图灵奖得主、 冯诺依曼奖获得者 、 美国国家工程院院士 、 Postgres和Vertica等产品的联合创始人Mike Stonebraker博士领导开发的下一代关系型、内 存数据库管理系统,面向毫秒级实时事务处理、实时数据分析、边缘计算和复杂流处理计算等 应用。 VOLTDB大幅降低了服务器资源开销,首先实现在廉价x86服务器集群或虚拟环境上实 现每秒数百万次数据处理。单节点每秒数据处理远远高于其它数据库管理系统。 VOLTDB提供开源版本和商业发行版本。 VOLTDB中国 VOLTDB于2017年官方正式进入中国市场,已经建立了本土团队,包括销售、研发、售 前售后和市场推广等职能。国内团队目前分布在北京、南京、成都。VOLTDB承若可为国内商 业客户提供7X24的远程和现场售后支持服务。 7 7

8. 架构概览 8

9. 技术探索 Mike Stonebraker博士的研究团 队通过对传统数据库进行分析,发现 数据只有​12%​左右的CPU时间在 做真 正有意义的数据操作,而其他绝大部 分时间都被缓存,并发控制等消耗了。 传统数据库有约88%的CPU时间 都消耗在这些对于实际操作无意义的 步骤上,要提升数据库性能,只有从 根本上减少这些冗余的步骤,集中进 行数据运算,才能完全利用 CPU。 9

10. VOLTDB设计理念 VOLTDB的设计动力源于系统对于数据的时效性要求越来 越高、越来越迫切,而传统数据库由于架构陈旧、数据在本地 VOLTDB、NoSQL和传统关系型数据库的对比如下所示: 文件保存,所以不论并发还是处理速度,都难以满足要求。而 新型的NoSQL数据库,又缺乏SQL支持以及完整的ACID和事务 的支持,完全无法替代传统数据库。 VOLTDB采用类MPP架构,完全在内存中运行,提供定期 拍摄磁盘快照的选择。采用横向可扩展的架构。传统的关系数 据库将数据写入基于磁盘的日志文件。 VOLTDB则不然,是同 时对内存内的多台机器进行修改。例如,即使两台机器发生故 障,K-Safety系数为2时即可保证不会造成数据损失,因为数据 至少存入三个内存节点。 事务作为存储过程(stored procedure)提交,可在数据库 中异步执行,并且数据自动分区(分片),分配至系统内的节 点,尽管可复制维表数据以最大限度地提高连接性能。 VOLTDB有一点不同寻常,同时兼容多种数据类型还能以JSON 数据结构的形式,支持半结构化数据,支持建立一级、二级索 引。 10

11.VOLTDB技术创新 对比 VoltDB 的设计 传统数据库设计 全内存计算 缓存管理 按CPU内核分区 锁和闩管理 多分区并行 数据库外事务控制 数据库内事务控制 无共享设计 共享架构

12. 产品特点 12

13. 内存计算 数据落盘 VOLTDB是完全的内存数据库,所有的计算都在内存中完成,数据 都存放在内存中,保证了计算和数据在最接近的地方。完全内存的计算保 证了最大化利用现有硬件的能力,实现几毫秒内的快速响应能力,数据完 全内存化存储避免了导致缓慢的I/O开销。 同时VOLTDB为了完全满足ACID要求,避免在服务器关机和突发情 况(如断电等 )下造成数据丢失, VOLTDB采用了命令日志与快照结合 的数据持久化方案,保证了数据在服务器关闭或者断电后也完全不会丢失 并在硬件恢复时快速恢复。如应用期待保持ACID的同时获得最大的性能, 建议使用SSD存储。 数据恢复 • 命令日志 + 快照 • 保证所有数据完整性 • 只追加写入命令和参数 • 最大化磁盘吞吐量 • 多节点数据持久化并行完成 13

14. 安全易用 标准SQL ACID VOLTDB使用标准SQL,包括 CREATE INDEX,CREATE VOLTDB能够在保证事务完整性的同时提供并发和性能线 TABLE, CREATE VIEW ,SELECT, INSERT, UPDATE, 性扩展的能力;VOLTDB把每个事务都当作一个存储过程, 保证 DELETE操作等。学习成本和代码迁移成本很低,代码复用程度 数据一致性。传统的数据库为了保证事务完整性,往往耗费非常 高,现有使用SQL实现的应用,可以相对容易的迁移到VOLTDB。 多的CPU资源在锁、插销和缓冲区管理这些执行准备工作上,阻 碍了数据库的性能和扩展能力。VOLTDB通过全局事务串行执行 和单线程分区并行执行,保证事务执行串行隔离,同时避免了锁 的使用和缓冲区的管理,同时满足ACID和高性能。 复杂计算 VOLTDB使用行式结构化数据存储,兼容JAVA数据类型,同 时提供了多表JOIN、聚合、窗口、地理等查询。同时,VOLTDB JDBC 提供数据即席查询(Ad-Hoc),可根据自己的需求灵活的选择查询条 VOLTDB兼容JDBC,允许用户进行动态的SQL查询,动态 件,以作为实时数据分析和实时数仓使用。 SQL查询也能参与存储结构优化,所以可根据应用需求结合预先编 好存储过程一起使用。 14

15.统一的实时流数据处理平台 Stream Real Time Datastore Ingestion Processing VOLTDB同时兼备流式加载、实时计算、数据存储的特性,一站式解决结合 上下文的实时流处理应用需求,避免了多种工具组合带来的延迟和风险。

16. 高可用 ⏤ 数据多副本 数据多副本分布 VOLTDB可以自定义设定数据的副本数量(0 ~ 集群节点数-1), 用户只需在表定义时设定分区字段,数据就可自动分区,副本分区保存 在不同的节点以保证有节点退出时不影响集群整体稳定性。 VOLTDB表可以分为分区表和复制表。分区表根据分区字段自动 分片,通常用来保存事实表数据。复制表在集群每一个节点有一份完整 数据,通常用来保存维表数据。所以在执行诸如多表联合查询计算时, 最大化的发挥本地内存计算优势,避免昂贵的网络开销。 VOLTDB数据多副本架构同时带来并行查询的优势,但是过多的 副本也可能导致增加数据写入和更新的延迟,通常建议副本数量不超过 3份。 16

17. 高可用 ⏤ 集群间复制 多活部署 集群A Binary Logs Snapshot 集群B VOLTDB支持多个集群组成多活或主备集群, 如:两地三中心、同城双活等等。多主服务器备份。 多活集群在备份的同时,每个集群还同时提供读写 操作,保证安全的同 时,提高了吞吐量。 二进制流拷贝 • 集群间同步通过压缩的二进制流,直接应用数据,不需要重新执行事务 多流并行同步 • 每个分区对应建立连接 主备部署 • 利用最大的并行同步优势 主集群 备集群 原生支持多个集群形成多活部署 支持一主多重部署 初始同步快照,增量同步二进制流 Binary Logs Snapshot 集群间同步延迟可配置 17

18. 生态周边 数据迁移自动化 消息队列 数据来源 分布式集群 数据目的地 标准SQL Kafka、RabbitMQ Kinesis 消息队列 Kafka、RabbitMQ 文件 其他数据库 流数据 Kinesis 批量、增量、流式 /数据湖 批量装载 Hadoop 异构应用 智能展示应用 CSV/JDBC/Kafka Vertica CLI/API HTTP/HTTPS 事务数据 生成文件 CMD/REST JDBC SDK 批量数据源 并行计算/机器学习 实时查询应用 JAVA/PHP/Python/… Socket 自动订阅 兼容Kafka Application 18

19. 云化部署 ⏤容器化/虚拟化 VOLTDB支持虚拟化或容器化部署,可无缝运 行于虚拟化环境。 VoltDB VoltDB VoltDB 支持特性: 集中控制、部署 虚拟机 /容器 虚拟机 /容器 虚拟机 /容器 在线扩容 (VM/Container) (VM/ Container) (VM/ Container) 在线缩容 主机操作系统 自动化编排 物理隔离 物理服务器 19

20. 机器学习 模型训练 训练数据模型 加载数据模型 • 使用Java定义机器学习算法 PMML PFA H2O • 通过jar包方式加载到数据库中 • 基于数据表进行模型训练 模型加载 • 新增Voltml功能模块 • 支持外部ML模型一键热加载 • 支持PMML等标准模型描述语言 20

21. 案例分析 21

22.IOT设备监控 VoltDB的价值: • 支持复杂SQL查询 • 实时数据库引擎 • 多维度实时统计设备状态及 位置 • 支持机器学习,可在线更新 • 支持实时决策 系统性能: • 45台低配云服务器 • TPS 50万/S • 25亿数据 • 平均延时<5ms

23.CGI 应用案例 监控智能电网传感信息,分析设备运行状态,触发指令 为能源使用的信息提供了准确的账单,为消费者提供了最 适合他们生活方式的关税,并使消费者能够更好地了解他 们的能源使用模式 实时态势感知 Voltdb的价值 高性能和可伸缩 提供对供应商/监管机构对服务用户设备和帐户的请求和消 息传递的实时低延迟处理 实时定价和计费,满足需求响应 CGI与Smart DCC有限公司签署了为期8年、价值7500万英镑的GB智能计 量实施计划

24.微数据中心的边缘计算 挑战: ● 在边缘虚拟数据中心整合语音、视频、数据业务等账单 ● 增强服务满意度,提高用户存续率 ● 为企业和个人提供个性化账单计划 ● 单运营商服务4.2亿用户 实现: Sterlite’s PCRF 平台基于VoltDB实现: ❏ 去中心化的小集群边缘计算架构 ❏ 完全虚拟化部署 ❏ 线性扩容 ❏ 在线按需扩容缩容 ❏ 实时策略检测 ❏ 汇聚整合预付费、后付费,细粒度的支付和网络使用计划 成果 : VoltDB为Sterlite提供电信级数据管理平台: ● 允许用户按需使用, 实时升级, 费用预警 ● 虚拟化和容器化方式实时应对流量集中和迁移 ● 快速相应新兴的业务,把握市场机会

25.位置大数据实时应用 VOLTDB集群 大数据量实时计算-秒级响应 数据展示 全网监控 重点区域保障 随机坐标框选 热点、轨迹 不同粒度选择 多维数据抽取 合并过滤 历史回放 时间窗口计算 地理区域计算 多范围信息 客流历史轨迹应用示例 数据仓库 Hadoop/MPP/RDMBS

26.位置大数据实时应用 VoltDB的价值: • 实时数据库引擎 • 核心流计算引擎 • 实现关键交互能力 • 提供标准SQL支持 • 打造公共服务能力 系统性能: • TPS 80万/S • 几亿级别数据量 • 最低延时<5ms • 复杂查询,11个case when • 多表关联查询

27.位置大数据实时应用 VoltDB的价值: • 实时数据库引擎 • 核心流计算引擎 • 实现关键交互能力 • 提供标准SQL支持 • 打造公共服务能力 系统性能: • TPS 80万/S • 几亿级别数据量 • 最低延时<5ms • 复杂查询,11个case when • 多表关联查询

28. 谢谢 联系我们: sgao@voltdb.com www.voltdb-china.cn 28

0 点赞
0 收藏
1下载