HBase在风控系统应用和高可用实践HBase在风控系统应用和高可用实践

注脚

展开查看详情

1.HBase 在风控系统的应用和高可用实践 郭冬冬

2.About Me 挖财 高级技术专家 分布式服务,分布式计算,大数据 目前负责挖财大数据平台 同花顺 爬虫 ,HBase

3.Why HBase 各条业务线快速发展,各自有自己的 MySQL 实例 风控需要有独立的数据集市 如何快速获取数据,上线风控系统

4.Why HBase 百亿 - 千亿级别 现有数据导入 海量数据 ms 级别延迟 OLTP 低延迟 风控分析 和 Hive/Spark 结合 结合大数据分析

5.Initial of HBase Architecture binlog 同步 schema 管理

6.Initial of HBase Architecture SQL 查询支持 索引支持

7.Initial of HBase Architecture 数据 export 数据仓库 数据仓库加工特征在线服务

8.Initial of HBase Architecture 接口封装 get/gets,put,puts scanByKeyPrefix select,upsert 权限校验 业务线接入使用

9.Happy Ending ?

10.Availability Problems 数据量 * 20 访问量 * 100 用户量膨胀 谁在干坏事 哪个表出现热点 什么 SQL 不合理

11.Availability Problems -- Phoenix Write Path Indexer Builder Region Coprocessor Host WAL Region Coprocessor Host WAL Updater Durable! Indexer Index Table Index Table Index Table Codec

12.Availability Problems -- Fail Recovery RegionA – CoProcessor RS1 WAL Replay IndexRegionA RS2 Write

13.Availability Problems -- Fail Recovery Dead Lock RS1 RS2 RS3 Opening Pending

14.Availability Problems -- Phoenix Index Write Error Handler Disable Index Table Abort RegionServer

15.Availability Problems

16.Availability Problems -- Monitor

17.Availability Problems -- RuleBased SQL Interception 是否是 RowKey scan 是否是索引查询 FullScan 是不是允许 ? select count(*) from table

18.Availability Problems -- CostBased SQL Interception

19.Availability Problems -- AdHoc Interception

20.Availability Problems 2 h -> 15 min

21.Availability Problems 2 h -> 15 min

22.Availability Problems-2 DNS 解析 机器问题 操作失误 等等

23.Availability Problems-2 -- 5min TTR 5min

24.Availability Problems-2 有没有 一劳永逸 的方法

25.Availability Problems-2

26.Now and Future 成为一个基础服务 几十 TB 数据 高峰几十万 QPS 每天上亿 SQL

27.Now and Future HBase 又挂了 ? 需要稳定存储服务 , 要用 HBase

28.Now and Future HBase Region Replicate HBase Multi Tenant HBase 2.0

29.Now and Future 多集群 -> 多机房 能否摆脱 Phoenix , 自研 SQL 引擎

30.The End ?

31.Q&A

user picture
为了让众多HBase相关从业人员及爱好者有一个自由交流HBase相关技术的社区,阿里巴巴、小米、华为、网易、京东、滴滴、知乎等公司的HBase技术研究人员共同发起了组建中国HBase技术社区。

相关文档