- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 视频嵌入链接 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
基于 Byzer 的评分卡解决方案 - 黄芃芃
评分卡被广泛运用在金融风控场景,但基于 python 单机完成的pipeline 数据抽取、特征工程、特征计算等往往容易出现性能瓶颈。而 Byzer 作为一门全新的云原生类 SQL 语言,天然支持分布式计算,支持用户用低代码的方式端到端地完成评分卡建模全流程。本次分享详细讲解了基于 Byzer 实现的评分卡解决方案。
黄芃芃-Byzer 社区高级开发工程师-荣获加拿大 Queen’s University 硕士全额奖学金,毕业于加拿大 Queen’s University 获得 M.A.sc学位,主要研究 Mining Software Repository 的方向。先后就职于百度,蚂蚁集团从事 AI Infrastructure 的能力建设,目前为 Byzer 社区的主要参与者之一,主要工作为分布式算法工程,AutoML等方向。
展开查看详情
1 .基于 Byzer 的风控评分卡算法解 决方案 Andie Huang丨 Senior Algorithm Engineer andie.huang@byzer.org 2022-04-14
2 .Agenda • 个人简介 • Byzer 的简介 • 基于 Byzer 的评分卡解决方案 • 用 Byzer 完成评分卡的优势
3 .个人简介
4 .Personal Background Andie Huang 黄芃芃 Byzer Org 开源社区 高级算法工程师 ◼ 荣获加拿大 Queen's University 硕士全额奖学金 ◼ 毕业于加拿大 Queen's University 获得 MAsc学位 ◼ 现 Ph.D. 就读于 Otago University ◼ 主要研究 Mining Software Repository 的方向 ◼ 先后就职于百度,蚂蚁集团从事 AI Infrastructure 的能力建设 ◼ 目前为 Byzer 社区的主要参与者之一,主要工作为分布式算法工程, AutoML 平台建设等方向
5 .Byzer 基本介绍
6 .Byzer 介绍 Everything is a Table • Byzer 是一门全新的编程语言,完全开源,低代码,使用 Byzer 可以实现数据处理、数据分析和 AI。
7 .Byzer 介绍 Everything is a Table • Byzer 既保留了 SQL 的所有原有优势,简洁易懂,上手就可以干活;Byzer 还允许用户进阶操作,提供更多可编程能力
8 .Byzer-lang 介绍 Everything is a Table • Byzer 使用场景 /人群
9 .Byzer-lang 介绍 Everything is a Table
10 .基于 Byzer 的评分卡解决方案
11 .风控评分卡模型 Scorecard Model Based on Byzer-lang • 对潜在的业务风险进行前瞻性的识别、分类和预警,多维度地自动评估和智能量化业务对象的风险明细和等级,并能进一 步统计和分析风险的变化趋势,从而最大程度降低企业的风险成本。 • 风控评分卡模型适用于银行信贷、金融风控、企业征信评估、供应商风险评估等应用场景,如销售订单风险、企业征信风 险、应收坏账风险等。 数据源 数据获取 EDA 数据准备 变量选择 模型训练 模型部署 模型评估
12 . 评分卡解决方案 Based on Byzer-lang 数据源 数据获取 EDA 数据准备 变量选择 模型训练 模型部署 模型评估 All are available both in Byzer-lang or by python (in notebook) But needs lots of efforts on codes and deployments on cross platforms !!!
13 .评分卡解决方案 Based on Byzer-lang 与用户交互的是 Byzer-lang (类 SQL )语言 Byzer 引擎的解释器解析 Byzer-lang 语法 基于 Byzer 引擎的插件开发设计,基于 Scala 完成数据选 择,剖析, 分箱, WOE 等计算组件开发 Byzer 计算引擎背后基于 Spark 和 Ray (可插拔), 完 成分布式的离线训练
14 .评分卡解决方案 Based on Byzer-lang
15 .评分卡解决方案 Based on Byzer-lang 1 predict table1 as ScoreCard.`/tmp/fintech` where binningPath='/tmp/fe_test/binning' 离线 and binningTable='binningTestTable' 预测 and selectedFeatures='name,age,income' as predictedScoreCardTable; 离线 2 训练 在线 Register Scorecard.`/tmp/fintech` as 预测 scorecard; Select scorecard(features) as converted_scores from predict_data as res; Byzer Engine Controller (Rest API)
16 .基于 Byzer-lang 评分卡解决方案的优/缺点 优点 Merits 1. 低代码, 3条SQL语句完成特征工程,离线 训练和模型部署 2. 无需跨平台即可完成评分卡场景的,数据获 缺点 Threats 取,清晰,EDA,特征工程,离线训练,离线 预测,在线预测等整套解决方案 1. Code Snippet 可以使得参数部分更加便捷 2. 产品化上,还可以做得更好。结合更好的交互 方式,可以使得全流程更加简单易用
17 .Thank You
18 .参考