申请试用
HOT
登录
注册
 
Phoenix Best Practice In China Life Insurance Company

Phoenix Best Practice In China Life Insurance Company

小米云技术
/
发布于
/
4474
人观看

来自中国人寿的工程师袁利鸥为我们分享了 Phoenix 在中国人寿的最佳实践。
中国人寿目前总的节点数有200多个,Phoenix 集群的节点是30多个。集群整体的数据量是1300T,HBase 单表最大30T,每天大概会有上百个脚本运行。

Phoenix 在中国人寿的应用场景:数据源是从核心的交易系统上产生,然后通过SharePlex,打到 Kafka 上,数据从 Kafka 实时接入到 Phoenix 集群上,通过查询服务,为 APP 提供权益信息访问。从物理架构上看,最底层是 Phoenix 集群,向上有两条链路,一条是 Phoenix Gateway,另一条是实时查询服务,通过负载平衡,承接到 Weblogic 集群上。

袁利鸥介绍了 Spark Streaming 的设计:

(1)对于整合后的表,会加入一些控制字段,记录更新时间、删除还是插入操作等。

(2)实时同步程序,按照表名或者统计字段做区分。

袁利鸥接着介绍了关于 Phoenix 的优化,把 Phoenix 的系统表做为一个分组,数据表放在另一个分组中。客户端访问时,每天会拉去一次元数据,随后就不用去访问 Phoenix 系统表,可以降低负载。基于 HBase 的一些优化包括:

  • Region Balance By Table。

  • G1GC

  • Manual MajorCompaction

0点赞
1收藏
1下载
确认
3秒后跳转登录页面
去登陆