HBase多模式

HBase多模式HBase多模式
展开查看详情

1. HBase 多模式 支持多模式-SQL、Graph、时序、时空、分析 明惠,过往记忆

2.HBase多模式 Spark 分析层:支持复杂分析、算子下推 AP/SQL/流/批 MLlib Graph 备份 恢复 SQL KV Graph 时空 时序 (Phoenix) (HBase API) (HGraphDB) (GeoMesa) (OpenTSDB) 多模式层:提供各种模型转换,贴切业务 索引引擎:提供索引支持,基于 Lucene 安全 Solr HBase 存储引擎:提供 KV 支持,基于LSM 全文索引/二级索引 双活 分布式文件层: SSD HDD OSS …… 保障低成本、与上层分离、共享降低成本

3.Phoenix–SQL on HBase 源表 - Source Table 二级索引 - Global-index id name score address name id 1 王二 100 北京海淀 李四 2 2 李四 99 北京朝阳 王二 1 …… 张百亿 100000000 …… 100000000 张百亿 69 北京海淀 SQL引擎 存储引擎 索引引擎

4.Spark  OLAP;  利用Spark-SQL查询一些比较复杂的分析;  利用Spark Streaming进行实时流分析,结果存入HBase;  直接读取Hfile。

5.OpenTSDB-时序  主要满足物联网:传感器、监控、金融K线等时序应用场景  Rowkey设计符合时序序列的查询  压缩节约存储空间 - 包括多行变一行及多列压为一列 mysql.bytes_received 1287333217 327810227706 schema=foo host=db1 mysql.bytes_sent 1287333217 6604859181710 schema=foo host=db1 mysql.bytes_received 1287333232 327812421706 schema=foo host=db1 mysql.bytes_sent 1287333232 6604901075387 schema=foo host=db1 mysql.bytes_received 1287333321 340899533915 schema=foo host=db2 mysql.bytes_sent 1287333321 5506469130707 schema=foo host=db2

6.Solr-全文索引  基于Lucene的全文搜索引擎;  为HBase添加二级索引功能;  提供范围查找、模糊查找等。 Client 索引同步 HBase Solr HDFS

7.GeoMesa-提供时空能力  高效时空索引,支持点、线、面等空间要素存储,百亿 级数据实现毫秒(ms)级响应  提供基于Spark SQL、REST、GeoJSON、OGC服务等多种 操作方式,方便地理信息互操作  提供轨迹查询、区域分布统计、区域查询、密度分析、 聚合、OD分析等常用的时空分析功能  支持物联网流式数据接入,物联网中时空维度的查询简 单有效。

8.HGraphDB-图 用户  HgraphDB实现了图模型,上层业务开箱即用,易于上手, 使用图特有语言查询gremlin实现图遍历 手机 手机 账号  HGraphDB底层基于hbase,容量可无限扩展,无论多大 的图都能存 IP  内置了常用的图算法工具,与spark graphframes集成, 用户还可自定义图分析算法 卡 设备 账号 应用:依托图关联技术,帮助金融机构有效识别 用户 账号 卡 隐藏在网络中的黑色信息,在团伙欺诈、黑中介 识别等。

9. 加入中国 HBase 技术社区,欢迎扫描下面二维码。 HBase 技术社区公众号 社区管理员 阿里云 HBase 技术支持

10.