金融大数据在AI实践

金融大数据在AI实践

展开查看详情

1.AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 廖晓格 / 平安银行 术 cn 社 区 金融大数据在A I 实践

2. 个人介绍 区 术 cn 廖 晓 格 社 泰为信息科技有限公司 技 g. 大数据研发部门 2016年2月 加入平安银行 大数据数据计算平台研发 能 cu 大数据研发部门 智 ai 主要负责大数据平台的建设,AI平 工 . 台的建设,平台服务,数据中台和 ww 聚力传媒有限公司PPTV 大数据平台建设 风控中台的建设,为银行在零售转 G人 w 型过程中提供高效稳定的大数据能 力,并且为风控和营销过程中提供 CU ebay 携程 丰富的数据服务支持 AI 用户数据平台建设 大数据平台建设 AI Pioneer 1

3. AI CU G人 w ww 工 . 智 ai 知识中台 未来规划 决策引擎 能 cu AI算法中台 技 g. 大数据平台 术 cn 社 区 2

4. 大数据平台简介 区 口袋A、行员A、网银、 术 cn 进线、线下、微信/支付宝 前台产品 社 技 g. 数据服务层 应用产品 数据中台 实 能 cu 指标系统 TimeLine 知识图谱 用户行为系统 时空分析(LBS) 时 • 以微服务为主的数据服务层, 智 ai 银行统一知识库 迅速响应业务需求 数 工 . • 开源、自研为主,采购为辅 统一数据底层 数据治理 据 ww • 敏捷、开放、连接 内部数据 外部数据 集团数据 元数据 数据质量 数据安全 主数据管理 大数据平台能力 G人 w AI基础平台 核心组件 基础设施 Flink Spark Presto Kylin ES • 拥抱开源,掌握开源 调度引擎 Docker K8S 决策引擎 • 底层相对稳定,计算引擎多 Kafka/RocketMQ HDFS YARN (Z+) CU 样化 sqoop+datastage AI 离线生产数据(数据源) AI Pioneer 3

5. 大数据平台发展路径 区 术 cn 发展路径 03 社 技 g. Decide(决策阶段) 1. 平台建设: 能 cu 根据学习,产生判断 搭建平台,收集数据 智 ai 02 工 . 2. 数据学习: ww Learn(学习阶段) 数据仓库建设,数据中台建设 学习数据,学习用户 3. 决策阶段: G人 w 利用数据进行生产应用决策 01 Build(建设阶段) CU 搭建平台,收集数据 AI AI Pioneer 4

6. 如何扩大数据的影响范围 区 术 cn 问题 社 目标:扩大核心数据的影响范围 技 g. 未 能 cu 盲点象限 潜能象限 • 不断自我揭示,扩大数据的公开象限 知 (深入了解和拓展研究) (创新和探索) • 不断恳请反馈,减少数据的盲点象限 智 ai 恳 • 不断决策判断,挖掘数据的潜能象限 决 工 . 策 请 ww 反 反 馈 馈 自我揭示:知识中台 已 知 公开象限 (核心数据) 自我揭示 G人 w 隐私象限 (实现价值) 恳请反馈:AI算法中台 决策判断:决策引擎 CU 已知 未知 AI 数据 AI Pioneer 5

7. AI CU G人 w ww 工 . 智 ai 未来规划 决策引擎 能 cu 大数据平台 AI算法中台 知识中台 技 g. 术 cn 社 区 6

8. 知识中台 实现全行知识的共创、积淀、分发、共享,赋能全行数字化经营 区 术 cn 社 知识共享 统一维护银行知识,统一知识分 技 g. 类,知识定义,提高管理效率, 能 cu 避免知识冲突。 智 ai 各渠道可以快速接入,接 01 工 . ww 入统一知识库,读取适用 的知识数据。 多渠道快速应用 G人 w 02 03 CU 集成银行所有知识,提供文本,FAQ知识结构化、半结构化数据, 提高综合体验 AI 为不同场景提供更完美的支持,提高综合体验,降低运营成本。 AI Pioneer 7

9. 知识中台 银行所有知识统一维护,实现应用多渠道接入,知识统一共享能力 区 术 cn KYC/KYP 客户行为数据 … 社 文本知识 FAQ知识 技 g. 能 cu 银行统一知识库 智 ai 工 . ww 知识总线 场景应用 知识分享 G人 w 知识同步 AI销售 AI客服 AI训练 AI行员助手 智能催收 智能电销 人工坐席 行员知识搜索 …. CU 小安机器人引擎 语音智能引擎 搜索引擎 AI 口袋APP 口袋银行家 电话中心 微信 口袋商城 官网 … AI Pioneer 8

10. 知识中台 为了灵活定义系统能力,整合统一服务注册,服务整合能力,对外提供通用的知识能力 区 术 cn 知识总线 社 技 g. 能 cu 服务定义 服务流定义 智 ai 工 . 服 节 附 ww 务 点 加 服 服 服 流 类 信 服 务 名 务 输 入 务 输 出 G人 w 务 附 加 开 名 服 判 型 分 息 汇 结 称 参 参 信 数 数 息 始 务 断 支 总 束 节 调 节 节 节 节 CU 点 用 点 点 点 点 AI 服务调用 AI Pioneer 9

11. AI CU G人 w ww 工 . 智 ai 知识中台 未来规划 决策引擎 能 cu 大数据平台 技 g. AI算法中台 术 cn 社 区 10

12. AICloud 算 法 平 台 区 基于CPU,GPU,存储打造统一算法中台,基于容器快速部署,发挥机器学习,深度学习算法价值, 术 cn 社 支持多租户,支持服务弹性伸缩,支持自动化部署,构建一个可靠稳定的AI算法私有云平台 技 g. 能 cu 业务应用 OCR 智能客服 智能推荐 人脸识别 NLP … 监控 智 ai 管理 工 . 任务 ww Python 计算框架 Tensorflow Caffe MXNet R Spark Java 管理 容器集群 G人 w Kubernetes + Docker 日志 管理 CU 存储 权限 基础设施 CPU GPU FPGA 网络 管理 AI 块存储 对象存储 文件系统 11 AI Pioneer

13. AICloud 算 法 平 台 区 AI与云计算的结合 术 cn 社 以云服务的形式提供AI的能力 技 g. GPU资源的统一管理 能 cu 利用GPU并行运算能力为深度学习加速 使用Kubernetes + Docker构建基于容器的云平台 智 ai 工 . 资源隔离与资源限制;基于镜像发布;弹性计算 支持主流深度学习与机器学习框架 ww (秒级动态扩容);HA;多租户;自动化部署 G人 w 分布式存储 TF、Caffe、Pytorch、Spark、xgboot、sklearn 块存储、对象存储、分布式文件 FPGA加速支持 系统,支持海量训练数据 CU 利用FPGA卡对深度学习算法加速(正在调研评估) AI AI Pioneer 12

14. AICloud 算 法 平 台 区 用户全流程自助服务,自助申请资源,模型开发训练上线一站式服务,平台能力: 术 cn 社 技 g. • 用户管理 • 数据管理 能 cu • 模型开发 • 任务管理 • 模型训练 • 镜像管理 智 ai • 部署上线 • 系统管理 工 . ww 租户申请 资源申请 G人 w 模型开发 模型训练 模型部署 模型上线 CU AI AI Pioneer 13

15. AICloud 算 法 平 台 区 术 cn 等待训练结果 社 申请资源 技 g. 模型部署 上传算法 能 cu 智 ai aicloud.******.cn 工 . ww G人 w CU AI AI Pioneer 14

16. AI CU G人 w ww 工 . 智 ai 知识中台 未来规划 能 cu 大数据平台 AI算法中台 决策引擎 技 g. 术 cn 社 区 15

17. 决策引擎能力 平台能力: 区 术 cn 决策引擎可以提供高并发,毫秒级响应的实时运算能力,同时提供可视化配置离线数据加工逻辑并输出; 社 决策引擎可以提供可视化配置数据源接入,并提供可视化配置运算逻辑,决策规则等,让需求快速上线。 技 g. 能 cu 项目 决策引擎可以同时提供给不同租户使用 场景 同个项目下可以建立多个场景 智 ai 计算模型 目前只支持规则模型 工 . 为了满足一定业务场景,对各种变量进行 决策 变量 ww 规则 逻辑处理 引擎 中心 规则的集合,规则组包含多条规则,按条 G人 w 规则组 件判断是否全满足或者部分满足,并且输 出结果 决策树 根据规则或者规则组的运算结果,进行 原 统 条 函 脚 离 树状分支的逻辑逻辑判断 始 计 件 数 本 线 CU 变 变 变 变 变 变 结果输出:可以毫秒级高并发输出计算结果 AI 量 量 量 量 量 量 AI Pioneer 16

18. 决策引擎 提供多租户管理,每个租户独占计算和存储资源,离线数据为实时变量做数据补充,对外提供决策判断结果, 区 术 cn 以及大量的实时统计变量查询接口 社 技 g. 输出能力 决策结果消息 决策结果接口 实时统计变量接口 能 cu 智 ai 规则判断 规则 规则组 决策树 监控 工 . 管理 ww 变量中心 租户 HBase Elasticsearch Redis Mysql G人 w 管理 元数据 计算引擎 Flink E+引擎 MapReduce 管理 CU 权限 数据源 RocketMQ Kafka Hadoop 管理 AI AI Pioneer 17

19. 决策引擎优势 区 术 cn 社 2 变量加工便捷 4 高性能 技 g. 支持各种类型的变量加工, 利用大数据分布式内存计算,快 能 cu 包括实时和离线变量加工 速计算变量,进行决策,提供毫 智 ai 秒级响应速度 工 . ww 数据源接入灵活 G人 w 规则添加简单 多租户 1 支持MQ数据接入 3 可视化添加规则决策,方 5 按租户接入,业务自己管 支持离线Hive 便,简单快捷 理变量和规则,互不影响, CU 支持外部API 实现计算物理隔离 AI AI Pioneer 18

20. 需求快速上线 区 术 cn 社 技 g. 接入数据 定义应用场景 定义计算逻辑 能 cu 通过可视化配置接入 可视化定义应用场景,并 可视化定义计算逻辑 数据源 且关联数据源 智 ai 对接 工 . 系统一次对接, ww 多次使用 G人 w 完成任务 计算结果输出 定义判断规则 CU 用户、业务接收到计算结果 E+平台快速计算并且实 可视化定义判断逻辑 AI 做出相应的行动,完成需求 时输出结果 AI Pioneer 19

21. 决策引擎功能示例 区 场景配置 计算逻辑配置 规则配置 术 cn 系统资源配置 社 接入数据源配置 技 g. 能 cu 智 ai 工 . ww G人 w CU AI AI Pioneer 20

22. AI CU G人 w ww 工 . 智 ai 知识中台 决策引擎 能 cu 大数据平台 AI算法中台 未来规划 技 g. 术 cn 社 区 21

23. 大数据平台决策过程---强化学习 区 • 通过核心数据,提炼 • 通过AI中台,提炼规 • 通过用户反馈,提升 • 最终形成强化学习中 术 cn 社 知识大脑,为决策提 则模型,为决策提供 知识和规则准确率 台,为金融营销和风 技 g. 供智能数据支持 智能规则支持 控提供决策支持 能 cu 智 ai 知识中台 APP 工 . 客户 ww 决策引擎 短信 G人 w AI算法中台 模 型 门店 CU 大数据核心数据 数据源/埋点 AI AI Pioneer 22

24. 未来规划 区 术 cn 决策引擎 社 技 g. 能 cu 1. 提炼丰富的规则能力 AI算法中台 智 ai 2. 提升决策判断的效率和准确率 工 . 3. 打造丰富的决策应用场景 ww 1. 打造丰富的算法组件 知识中台 G人 w 2. 挖掘知识的潜能 3. 高效的运算能力 1. 积累知识更智能 CU 2. 提升知识丰富度和准确率 AI 3. 构建基于知识图谱的问答能力 AI Pioneer 23

25. 区 术 cn 社 技 g. 能 cu 智 ai 工 . ww 金融大数据团队 G人 w 期待您的加入 CU 打造金融数据新生态 助力平安零售强转型 181276056@qq.com AI 大数据团队目标是以最领先的大数据技术建设银行零售数据中心及AI智能服务平台, 深入探索金融数据,为业务提供技术和数据支持,最大限度发挥银行数据的价值。 AI Pioneer 24

26. AI CU G人 w ww 工 . 智 ai 能 cu 技 g. 术 cn 社 THA NK S 区 25

AICUG专注于人工智能机器学习、深度学习、计算机视觉、自然语言处理、推荐算法等领域,汇集人工智能技术大咖,总部位于杭州,分部位于美国硅谷。
关注他