- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 视频嵌入链接 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
1. ShuangzhaoDB在银行风控平台的应用
议题简介
信息科技的发展使银行交易手段越来越多样化,电子交易规模快速增长,伴随而来的金融交易欺诈案例也不断增多,且手段快速变化,对银行的风控提出了实时决策和机器学习等更高要求,以支撑风险分析、预警、控制的全工作流程。
ShuangzhaoDB是具有高吞吐、高容量、低延时等特性的内存数据库,支持标准SQL和事务。基于c打造的银行风控平台业务规则引擎,主要应用于实时在线分析和决策,快速识别已知欺诈手段,并应用机器学习更新规则,实现交易事中反欺诈,在交易完成前触发风险决策,显著降低银行交易风险。
周浩,数据库应用解决方案专家。具有多年的金融行业数据库应用实践经验,参与数家大型银行应用系统和数据仓库的方案设计。
展开查看详情
1 .在银行风控平台的应用实践 双照科技 周浩
2 . 目 录 一. 概述 二. 风控管理平台介绍 三. H银行实践案例 四. Z银行实践案例
3 .一. 概述
4 . 公司概况 双照科技创办于2008年,总部在广州,是 一家专注于金融科技领域的信息系统集成商和 应用解决方案开发与运维服务提供商。 业务涵盖数据库、数据中心、大数据、公有 云和移动终端等,能够自主研发金融科技应用 产品及提供行业解决方案,可为银行提供一体 化金融行业技术服务。
5 .产品发展 ● 在 2 0 1 4 年 图 灵 奖 得 主 、 Po s t g re S QL 和 Ve r t ic a 等 产 品 的 联 合 创 始 人 M ic h a e l St o n e b r a ke r 博 士 领 导 设 计 的 Vo l t D B 开 源 软 件 基 础 上 , 经 过 三 年 的 研 发 , 消 化 吸 收 转 换 为 自 主 可 控 内 存 数 据 库 Sh u a n g z h a o D B 。 ● Sh u a n gz h a o DB 大 幅 降 低 了 服 务 器 资 源 开 销 , 首 先 实 现 在 廉 价 x8 6 服 务 器 集 群 或 虚 拟 环 境 上 实 现 每 秒 数 百 万 次 数 据 处 理 。 单节点每秒数据处理远远高于其它数据库管理系统。 ● Sh u a n gz h a o DB 的 服 务 团 队 包 括 销 售 、 研 发 、 售 前 售 后 和 市 场 推 广 等 职 能 。 团 队 目 前 分 布 在 北 京 、 南 京 、 成 都 、 上 海 , 可为国内商业客户提供7X24的远程和现场售后支持服务。
6 .产品特性 分布式 关系型 内存数据库 全内存+可持久化 灵活可扩展 高可用(主备,双活) 跨分区多表联合 标准SQL Java兼容的存储过程 ACID支持 流式计算支持(集成kafka接口) 云原生 监控接口完备(可集成Prometheus,Newrelic)
7 .产品能力 ● 内存数据库利用高速访问内存的优势,实现毫秒级低延迟 和高并发任务处理,多用于有高性能计算需求的场景。 ● 分布式内存数据库,最大的特点就是快,能够一站式实现 数据加载、计算、存储的需求,降低总成本并简化架构复 杂性。全内存计算通常存放G~T级数据量,多用于热数据 或温数据处理及存储。 ● 支持完整事务,具备复杂流处理和批处理能力,可与上、 下游其他数据工具形成完整生态(如解偶工具:Kafka、 传统数据库:MySQL、Oracle、数据湖:Hadoop 等。)。
8 .应用场景 01 实时交易反欺诈 02 实时营销 03 实时授信审批 04 异构融合缓存 05 实时数仓
9 .二. 风控管理平台介绍
10 .银行风控流程
11 .风控管理平台简介 风 控 管 理 平 台 是 基 于 S hu a ng z h ao D B 的 流 数 据 实 时 决 策 系 统 , 可 以 帮 助 用 户 更 高 效 的 完 成 业 务 规则部署和管理,使业务适应快速变化的市场环境,可广泛应用于金融、公安、政府等行业领域。 ● 变量、规则、规则集、策略等业务组件 ● 模拟测试、版本管理、运行监控、数据分析等辅助功能 ● 图形化操作界面,大大的降低了对业务用户的技术要求,帮助业务人员从策略代码开发中解 放出来,进行快速业务变迁
12 .系统架构图
13 .主体架构 风控管理平台主体上分为策略管理平台和决策执行单元。 策略配置平台主要包括元数据管理、策略设计和管理、权限管理等功能。 决策执行单元为以事件为驱动的决策核心。 事件消息调度集群 数据 管理服务 业务事件(同步) 存储 集群 负载均衡 策略信息 策略管理 业务事件(异步) 权限管理 决策结果 作业执行集群 任务监控 消息中间件 执行单元 执行单元 日志信息 元数据管理 kafka/topic 决策执行单元 策略管理平台 ShuangzhaoDB集群
14 .策略管理平台架构 策略管理平台 用户界面 事件源及维度映 库表/数据库管理 策略开发/测试 数据/监控中心 射与管理 工具 根据策略配置,生成 入库存储过程 过滤存储过程 监控 API 存储过程的class文 库表操作 查询及批次变量存储过程 件,并加载到 ShuangzhaoDB。 策略规则存储过程 单分区存储过程 集群
15 .决策执行单元架构 决策执行单元 ShuangzhaoDB集群 过滤存储过程执行 数据过滤存储过程 基于维度和分区字段的存 调用存储过程时,涉 入库存储过程执行 储过程。 及到多个维度,根据 入库存储过程 维度和分区进行调用 查询变量存储过程执行 和执行。 查询和批次变量存储过 一个事件源会涉及多个维 计算变量和远程变量的运算 程 度和分区的存储过程。 窗口变量运算 策略规则存储过程 策略规则存储过程执行 分区表 复制表 返回值模型和结果封装
16 .基础数据管理 定义数据源的的接入、库表等基本元素和数据。 • 维度的定义和管理。 • 图形化库表管理。 • ShuangzhaoDB的数 据库管理工具。 维度定义 库表管理 策略 管理 平台 事件源定义 参数定义 • 维度映射及管理。 • 数据字典管理。 • 消息协议和报文。
17 .策略管理 变量的定义、规则与策略包开发及测试。 Data Protection 事件变量、批次变量、查询变量、窗口变量、模型变量、参数变量 规则、规则集、决策表、评分卡、决策流 策略包定义、版本管理、上下线 策略开发
18 .监控中心 监控中心 主机监控 决策监控 DB监控 主机资源使用情况 决策过程、性能等指标监 数据量、存储性能 监控及预警。 控预警。 等监控与预警。
19 .角色权限 ⚫ 运维管理与业务开发的隔离与协作。 系统管理员 策略开发人员 协作 基础建设 策略开发 安全性 部署 信息支撑 业务部门 支持 支持 部门 可用性 WEB DB 风控管理平台
20 .平台方案特点 • 提供规则、规则集、决策表、交叉决策表、评分卡、决策流等类型的常用业务规则设计器,均采用可视化的配置方 式,使用简单灵活; • 系统具有良好的扩展性,可以结合业务代码进行自由扩展 ,提供丰富的扩展API接口; • 实现业务逻辑统一化、版本化、透明化管理,使得数据源的管理,到策略开发、测试和最后的运行监控形成事件处 理的闭环。 可视化配置管理 运维部署简单化 策略开发低门槛 成本控制
21 .应用一. 实时事中交易反欺诈 风控管理平台 大数据(ML) 金融机构面临的挑战: • 实时反欺诈:交易中阻止 • 准确判断:不漏判、不错判 业务数据、 • 整合机器学习: 基于流的实时决策 + 历史数据机器学习, 业务规则 Spark/ Hadoop 应对不断变化的欺诈活动和行为。 (欺诈检测和 银行、电信、 互 预测算法) 联网(数万TPS) 价值: • 风险案件量下降:> 50% • 响应时间:<50毫秒 • 挽回的经济损失:数亿元 • 性能比传统的风控系统提升: 10倍 • 业务处理: 数十万笔交易/秒 业务的连续性: 99.999% 规则更新 (当天)
22 .应用二. 实时营销 在大数据、人工智能等技术快速发展,金融、互联网等行业激烈竞争的背景下,针对消费者的营销方式也在不 断的升级变化当中。收集、分析消费者的行为偏好和习惯,并快速调整营销策略,以满足消费者的个性需求,以及在 消费者参与营销活动时,快速触达和响应,是实时营销、精准营销的基本要求。风控管理平台可实现毫秒级响应,在 消费者进入营销场景时,快速触达消费者,避免营销机会的流失。
23 .应用三. 实时授信审批 随着互联网金融、移动支付的普及,金融机构都在加强风控体系建设, 从“事后”提高到“事中”,在海量的交易执行过程中,实时进行数据与事 件分析、深度学习模型计算、消费群体分析以及交易网络关系分析等多种分 析手段,以此作为交易最终决策。具备强大计算能力、低延时、高并发的风 控管理平台成为管理必要手段。 风控管理平台具有数据库的标准开发方式和数据可靠性机制,并拥有流 处理/CEP(复杂事件处理)的高并发、低延时、持续计算能力,达到极致性 能的实时计算,同时将软件技术和硬件特性充分结合,充分利用硬件性能, 以支撑实时授信审批业务的高并发、低延时和复杂计算要求。
24 .三. H银行实践案例
25 .业务场景介绍 信息化的发展使银行交易手段越来越多样化,网上银行、手机银行、微信银行、电商服务平台、网贷平台 和借记卡支付(快捷支付)、ATM等渠道的交易规模越来越大。但伴随而来的是金融交易欺诈案例不断增长, 欺诈手段也在快速变化。 监管机构对网上交易提出了严格监管要求,加强监管力度,全面遏制交易欺诈行为。 为此H银行全面梳理各个交易业务渠道的风险监控需求,建立交易反欺诈平台,支撑风险分析、预警、控 制的全工作流程。
26 .交易反欺诈平台 H银行的交易反欺诈平台采用业务规则+风险预测双引擎模式, 业务规则引擎采用ShuangzhaoDB打造,用于实时在线分析,基 于一系列预置的业务规则,迅速识别已知欺诈手段,且业务规则易 于更新,可以实现交易事中反欺诈,在交易完成前触发风险决策。 风险预测引擎采用星环大数据平台打造,用于离线分析,基于 诸多机器学习算法,总结已有欺诈案例,洞察不断变化的欺诈模式, 为管理人员调整业务规则因子提供依据,并产生新的反欺诈业务规 则,具有自我学习能力,显著降低管理人员的监控成本。
27 .交易反欺诈平台 随着业务的不断演进,目前双引擎的业务边界 在逐渐变得模糊,不再是绝对的分别只处理在线业 务或离线业务。近期风险预测引擎中添加了机器学 习模型,用于实时反欺诈,其中用到的一些实时指 标则来自于业务规则引擎。在业务规则引擎中添加 了报表统计功能,报表中的历史数据则源于风险预 测引擎的分析结果。双引擎也在不断的融合,取长 补短。
28 .应用优势 在H银行实践业务中,在引入ShuangzhaoDB之前只能做到事后交易风险检测,无法实时拦截欺 诈交易,意味着银行和客户的金钱损失,这个当时行方的最大痛点是是传统数仓产品无法满足的,但 却是ShuangzhaoDB的优势所在,其优势包括: 1 高吞吐 2 高容量 3 低延迟 4 标准SQL 5 事务性 6 高可用
29 .应用优势 1 高吞吐 2 高容量 H银行有几千万用户群体,各种渠道的交易数据达 反欺诈业务规则要使用至少一个月的历史交易数据,数 到每秒5000笔,每笔交易触发上百个反欺诈业务规则, 据 行 数 在 十 亿 级 别 , 数 据 总 量 达 到 数 百 GB 。 数据库TPS到达3W。ShuangzhaoDB通过分布式并行 ShuangzhaoDB将数据进行分区存储,每个节点只处理部 处理架构,将数据库请求均匀转发到集群各节点上,利 分数据,可有效分担数据容量压力,支持TB级别的数据容 用多节点的算力快速处理请求,吞吐量可以随集群规模 量。 增长。