- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
HBase在风控系统应用和高可用实践
展开查看详情
1 .HBase 在风控系统的应用和高可用实践 郭冬冬
2 .About Me 挖财 高级技术专家 分布式服务,分布式计算,大数据 目前负责挖财大数据平台 同花顺 爬虫 ,HBase
3 .Why HBase 各条业务线快速发展,各自有自己的 MySQL 实例 风控需要有独立的数据集市 如何快速获取数据,上线风控系统
4 .Why HBase 百亿 - 千亿级别 现有数据导入 海量数据 ms 级别延迟 OLTP 低延迟 风控分析 和 Hive/Spark 结合 结合大数据分析
5 .Initial of HBase Architecture binlog 同步 schema 管理
6 .Initial of HBase Architecture SQL 查询支持 索引支持
7 .Initial of HBase Architecture 数据 export 数据仓库 数据仓库加工特征在线服务
8 .Initial of HBase Architecture 接口封装 get/gets,put,puts scanByKeyPrefix select,upsert 权限校验 业务线接入使用
9 .Happy Ending ?
10 .Availability Problems 数据量 * 20 访问量 * 100 用户量膨胀 谁在干坏事 哪个表出现热点 什么 SQL 不合理
11 .Availability Problems -- Phoenix Write Path Indexer Builder Region Coprocessor Host WAL Region Coprocessor Host WAL Updater Durable! Indexer Index Table Index Table Index Table Codec
12 .Availability Problems -- Fail Recovery RegionA – CoProcessor RS1 WAL Replay IndexRegionA RS2 Write
13 .Availability Problems -- Fail Recovery Dead Lock RS1 RS2 RS3 Opening Pending
14 .Availability Problems -- Phoenix Index Write Error Handler Disable Index Table Abort RegionServer
15 .Availability Problems
16 .Availability Problems -- Monitor
17 .Availability Problems -- RuleBased SQL Interception 是否是 RowKey scan 是否是索引查询 FullScan 是不是允许 ? select count(*) from table
18 .Availability Problems -- CostBased SQL Interception
19 .Availability Problems -- AdHoc Interception
20 .Availability Problems 2 h -> 15 min
21 .Availability Problems 2 h -> 15 min
22 .Availability Problems-2 DNS 解析 机器问题 操作失误 等等
23 .Availability Problems-2 -- 5min TTR 5min
24 .Availability Problems-2 有没有 一劳永逸 的方法
25 .Availability Problems-2
26 .Now and Future 成为一个基础服务 几十 TB 数据 高峰几十万 QPS 每天上亿 SQL
27 .Now and Future HBase 又挂了 ? 需要稳定存储服务 , 要用 HBase
28 .Now and Future HBase Region Replicate HBase Multi Tenant HBase 2.0
29 .Now and Future 多集群 -> 多机房 能否摆脱 Phoenix , 自研 SQL 引擎