- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 视频嵌入链接 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
释放5G应用价值的核心关键
展开查看详情
1 .释放5G应用价值的核心关键 www.voltdb.com
2 . VOLTDB简介 1980 1996 2003 2005 2009 VOLTDB是由2014图灵奖得主、 冯诺依曼奖获得者 、 美国国家工程院院士 、Postgres 和Vertica等产品的联合创始人Mike Stonebraker博士领导开发的下一代关系型、内存数据库管 理系统,面向毫秒级实时事务处理、实时数据分析、边缘计算和复杂流处理计算等应用。 VOLTDB大幅降低了服务器资源开销,首先实现在廉价x86服务器集群或虚拟环境上实现 每秒数百万次数据处理。单节点每秒数据处理远远高于其它数据库管理系统。 VOLTDB提供开源版本和商业发行版本。 VOLTDB中国 VOLTDB于2017年官方正式进入中国市场,已经建立了本土团队,包括销售、研发、售 前售后和市场推广等职能。国内团队目前分布在北京、南京、成都。VOLTDB承若可为国内商 业客户提供7X24的远程和现场售后支持服务。 2 2
3 . 架构概览 3
4 . 技术探索 Mike Stonebraker博士的研究团 队通过对传统数据库进行分析,发现 数据只有12%左右的CPU时间在 做真 正有意义的数据操作,而其他绝大部 分时间都被缓存,并发控制等消耗了 。 传统数据库有约88%的CPU时间 都消耗在这些对于实际操作无意义的 步骤上,要提升数据库性能,只有从 根本上减少这些冗余的步骤,集中进 行数据运算,才能完全利用 CPU。 4
5 . VOLTDB设计理念 VOLTDB、NoSQL和传统关系型数据库的对比如下所示: VOLTDB的设计动力源于系统对于数据的 时效性要求越来越高、越来越迫切,而传统数据 库由于架构陈旧、数据在本地文件保存,所以不 论并发还是处理速度,都难以满足要求。而新型 的NoSQL数据库,又缺乏SQL支持以及完整的 ACID和事务的支持,完全无法替代传统数据库。 5
6 .VOLTDB技术创新 对比 VoltDB 的设计 传统数据库设计 全内存计算 缓存管理 按CPU内核分区 锁和闩管理 多分区并行 数据库外事务控制 数据库内事务控制 无共享设计 共享架构
7 . 内存计算 数据落盘 VOLTDB是完全的内存数据库,所有的计算都在内存中完成,数据都 存放在内存中,保证了计算和数据在最接近的地方。完全内存的计算保证 了最大化利用现有硬件的能力,实现几毫秒内的快速响应能力,数据完全 内存化存储避免了导致缓慢的I/O开销。 同时VOLTDB为了完全满足ACID要求,避免在服务器关机和突发情 况(如断电等 )下造成数据丢失, VOLTDB采用了命令日志与快照结合的 数据持久化方案,保证了数据在服务器关闭或者断电后也完全不会丢失并 在硬件恢复时快速恢复。如应用期待保持ACID的同时获得最大的性能,建 议使用SSD存储。 数据恢复 • 命令日志 + 快照 • 保证所有数据完整性 • 只追加写入命令和参数 • 最大化磁盘吞吐量 • 多节点数据持久化并行完成 7
8 . 安全易用 标准SQL ACID VOLTDB使用标准SQL,包括 CREATE INDEX,CREATE VOLTDB能够在保证事务完整性的同时提供并发和性能线性 TABLE, CREATE VIEW ,SELECT, INSERT, UPDATE, DELETE操 扩展的能力;VOLTDB把每个事务都当作一个存储过程, 保证数据一 作等。学习成本和代码迁移成本很低,代码复用程度高,现有使用SQL 致性。传统的数据库为了保证事务完整性,往往耗费非常多的CPU 实现的应用,可以相对容易的迁移到VOLTDB。 资源在锁、插销和缓冲区管理这些执行准备工作上,阻碍了数据库的 性能和扩展能力。VOLTDB通过全局事务串行执行和单线程分区并行 执行,保证事务执行串行隔离,同时避免了锁的使用和缓冲区的管理 ,同时满足ACID和高性能。 复杂计算 VOLTDB使用行式结构化数据存储,兼容JAVA数据类型,同 时提供了多表JOIN、聚合、窗口、地理等查询。同时,VOLTDB 提供 JDBC 数据即席查询(Ad-Hoc),可根据自己的需求灵活的选择查询条件,以作 VOLTDB兼容JDBC,允许用户进行动态的SQL查询,动态 为实时数据分析和实时数仓使用。 SQL查询也能参与存储结构优化,所以可根据应用需求结合预先编好存 储过程一起使用。 8
9 . 生态周边 数据迁移自动化 消息队列 数据来源 分布式集群 数据目的地 标准SQL Kafka、RabbitMQ Kinesis 消息队列 Kafka、RabbitMQ 文件 流数据 其他数据库 Kinesis 批量、增量、流式 /数据湖 批量装载 Hadoop 异构应用 智能展示应用 CSV/JDBC/Kafka Vertica CLI/API HTTP/HTTPS 事务数据 生成文件 CMD/REST JDBC SDK 批量数据源 并行计算/机器学习 实时查询应用 JAVA/PHP/Python/… Socket 自动订阅 兼容Kafka Application 9
10 . 5G应用价值的核心关键及案例 10
11 .5G商用 – 蕴含价值的金矿 ““到2020年,整个5G企业市场价值预计将达到23亿 美元,到2026年预计将达到317亿美元,复合年增 长率为54.4%。” “尽管消费者是推动5G发展的主要力量,但通信服 务供应商们将越来越多地将5G服务瞄准企业。” “在短期内,驱动5G需求的将不是消费者,他们的 需求目前主要通过4G得到满足,而是企业和政 府,将在多种应用场景下受益于下一代无线技术 。”
12 .5G 机遇 工业4.0 数字孪生 网络分片 DIGITAL TWIN 边缘技术 MACHINE/AI LEARNING
13 .5G的关键考虑因素 随需应变,快速推出创 5G将带来哪些变化: 新服务 • 峰值网络速率达到10Gbps以上 • 网络传输速度比4G快10~100倍 按需使用 • 网络时延从50毫秒缩短到1毫秒 营收和持续增长 稳定的服务质量 • 满足千亿量级的网络连接 服务变现 标准化 新机会: • 物联网应用普及 开放接口 差异化网络规则 • 网络切片 • 智慧城市 • 智能家居 实时生效 策略 5G 灵活扩展 模块化应用 • 虚拟现实 • 无人驾驶 服务内实时升级 数据变现 实时发现价值 可升级 可运营 易于使用和管理
14 .VOLTDB的核心价值 摄取 ACT 行动 存储 <10ms 决策 聚合 检测 评估
15 .5G – 微数据中心的边缘计算和灵活定价 挑战: ● 在边缘虚拟数据中心整合语音、视频、数据业务等账单 ● 增强服务满意度,提高用户存续率 ● 为企业和个人提供个性化账单计划 ● 单运营商服务4.2亿用户 实现: Sterlite’s PCRF 平台基于VoltDB实现: ❏ 去中心化的小集群边缘计算架构 ❏ 完全虚拟化部署 ❏ 线性扩容 ❏ 在线按需扩容缩容 ❏ 实时策略检测 ❏ 汇聚整合预付费、后付费,细粒度的支付和网络使用计划 成果 : VoltDB为Sterlite提供电信级数据管理平台: ● 允许用户按需使用, 实时升级, 费用预警 ● 虚拟化和容器化方式实时应对流量集中和迁移 ● 快速相应新兴的业务,把握市场机会
16 .位置大数据实时应用 VOLTDB集群 大数据量实时计算-秒级响应 数据展示 全网监控 重点区域保障 随机坐标框选 热点、轨迹 不同粒度选择 多维数据抽取 合并过滤 历史回放 时间窗口计算 地理区域计算 多范围信息 客流历史轨迹应用示例 数据仓库 Hadoop/MPP/RDMBS
17 .位置大数据实时应用 VoltDB的价值: • 实时数据库引擎 • 核心流计算引擎 • 实现关键交互能力 • 提供标准SQL支持 • 打造公共服务能力 系统性能: • TPS 80万/S • 几亿级别数据量 • 最低延时<5ms • 复杂查询,11个case when • 多表关联查询
18 .位置大数据实时应用 VoltDB的价值: • 实时数据库引擎 • 核心流计算引擎 • 实现关键交互能力 • 提供标准SQL支持 • 打造公共服务能力 系统性能: • TPS 80万/S • 几亿级别数据量 • 最低延时<5ms • 复杂查询,11个case when • 多表关联查询
19 . 谢谢 联系我们: sgao@voltdb.com 19