Flink+HBase 场景化解决方案

1.Flink简介 2.Flink优势 3.Flink典型应用场景 4.Flink和HBase结合的案例分享
展开查看详情

1.Flink+HBase 场景化解决方案 高旸 / 2019.3

2.实时计算市场竞争分析 – 传统厂商 场景丰富 起步较早 价格昂贵 本地部署 谋求云化

3.实时计算市场竞争分析 – 云厂商 2014年 2015年 2016年 2017年 2018年 起步较晚 场景初级 价格优势 空间巨大

4.业界开源技术生态分析 Top 5 用户邮件列表: 1.Flink (用户最活跃项目) Streaming 2.Lucene 第一代 第二代 第三代 3.Ignite 4.Cassandra 5.Kafka Streaming Mini Batch Stateful Streaming 2018年度报告

5. Flink容器化解决方案– 架构 Containerized User Interface App System Administrator Interface (系统管理员界面) User Development Interface (用户开发界面) - 用户及管理员交互界面 Analytics / Monitoring UI / Cluster Management Web Dashboard IDE/ Metrics Monitoring Web UI Containerized PaaS+ App Rule Engine Decision Engine Video/Audio Analytics Inference & Predication - Flink场景化解决方案容器服务 Security Industry Finance/Insurance Industry Compute Virtualization Tensorflow / MXNet HDFS HBase Flink Metrics Storage Distributed File System Data Storage Data Processing Engine Metrics Collection / Storage Containerized PaaS App - Flink实时计算基础容器服务 Zookeeper Yarn Kafka Security High Availability Coordination Job Scheduling /Monitoring Metrics data pipeline Permission / Authentication Deployment & Management K8S ETCD - 容器部署和管控服务 Deployment Management / Container Management / Job Scheduling/ Service Orchestra K8S KV Storage Physical or Virtual Machine - 物理机或虚拟化计算资源

6.实时计算容器化解决方案 - 生态合作伙伴 1. 引入生态伙伴进行 渠道 -> 交付 -> 扩容服务 -> 售后支持 构建产品形态的端到端闭环 2. 基于开源K8S生态或者伙伴定制化K8S生态 分销渠道 交付服务 扩容交付 售后支持 Go-to-Market Channel Delivery & Implementation Expansion Services Post Sales Service 产品的安装与部署 产品扩容交付 技术经理服务 增值可插拔解决方案 Technical Account Manager 解决方案提供 驻场服务 On-Site Support 远程支持服务 Remote Support

7.Flink实时计算的典型场景 数据分析(Data Analysis) 事件驱动 (Event-Driven) 数据处理(Data Pipeline) 实时大屏 实时监控 实时风控 实时ETL 互联网/新零售/金融 互联网/媒体/IOT 安防/金融 互联网/IOT • 众安保险 (金融大屏) • 城市安全 (预警管控) • 城市交通 (视频流处理) • VIPKID /TutorABC (教育大屏) • 众安保险(保单风控) • 格林深瞳 (图片流处理) • 基分 (内容大屏) • 邦道科技(充值缴费风控) • 新华智云(信息流处理) • 虎牙 (直播大屏) • 东方明珠 (媒体播放监控) • 智联招聘 (索引构建) • 格格家 (电商大屏) • 基分运维(系统指标监控) • 千寻 (北斗信息处理) • 上海欧新 (营销大屏) • 协鑫光伏 (工业设备监控)

8.在线教育-实时视频分析场景 实时系统状况监控 父母 实时系统状况 (是否有卡顿) 实时教学内容字幕推送 实时网络状况(延迟) 实时(准实时)精彩瞬间推送 实时(准实时)课堂质量报告 实时课堂满意度评估 老师 实时老师教学状况分析 是否使用教具,面部表情 实时课堂教学质量评估 学生 实时学生状况分析 面部表情 参与度及活跃度 监课 课堂实时监控 学生异常监控及干涉处理 老师异常监控及干涉处理 解决方案架构: 视频数据流 实时计算分析处理 特征生成、 分析报表

9.在线教育-实时预测场景 任务实时训练 数据采集 样本数据 输入层 权重值 隐藏层 输出层 推荐引擎 预测服务-参数 背景:每天约10万节在线课程(视频),每节课30分钟(包括 搜索引擎 课间5分钟),每天预计数十万分钟的音视频数据量。 数据源 数据源 广告引擎 特征值 需求:每一批的课程25分钟,然后收集所有课程视频、系统和 (KV存储) 特征计算 网络日志,在课间5分钟实时(准实时)预测下一批次25分钟 网络课程的网络及系统状况,预测可并发的课程数量。 特征输出 任务实时特征 数据采集

10.城市大脑-实时视频分析场景 城市交通搜索 渐进交互式视频搜索 交通态势及事件预测 智慧化市政建设与管理 应 用 错峰限行 闯禁 消防事件告警 层 车辆全程轨迹 不文明行为曝光 走失人员寻找 混合交通态势及事件预测 路面交通态势及事件预测 城市管理业务检测 引 视频结构化引擎 视频搜索引擎 事件检测引擎 擎 场景 层 行人 非机动车 机动车 目标 同天跨摄像头 跨天同摄像头 运动属性检测机 滞留现象检测 聚集现象检测 性别、发型、衣着 性别、头饰、载荷 车牌、车型、颜色 再识别 规则判断 算视 平觉 台计 实时视频分析平台 感 交通 安全 互联网 知 层 卡口、电警 普通摄像机 线圈、微波等 摄像机 FRID信号 MAC信号等 GPS 天气、活动 社交媒体

11.实时欺诈检测(风控)场景 实时欺诈检测(风控)系统流程如下: 1. 用户的行为经由App上报或Web日志记录下来,发送 到一个消息队列里去。 2. 实时计算订阅消息队列,过滤出感兴趣的行为,比 如:购买、领券、浏览等。 3. 实时计算计算把这个行为特征化。 4. 实时计算通过UDF调用外部一个风险模型,判断这次 行为是否有问题(单次行为)。 5. 实时计算里通过CEP功能,跨多条记录分析用户行为 (比如用户先做了A,又做了B,又做了3次C),整体 识别是否有风险。 6. 综合风险模型和CEP的结果,产出预警信息。

12.

为了让众多HBase相关从业人员及爱好者有一个自由交流HBase相关技术的社区,阿里巴巴、小米、华为、网易、京东、滴滴、知乎等公司的HBase技术研究人员共同发起了组建中国HBase技术社区。