Tapdata 在数字化防疫场景的最佳实践

1 . 实时数据赛道领跑者 Tapdata X 张家港市卫生健康委员会 疫情防控数据中台 杨庆麟 / Arthur Tapdata 首席架构师 MAKE YOUR DATA ON TAP 

2 . 听完今天的分享，你会有这些收获 ü 张家港市卫健委如何充分利用数据技术，牢筑防疫的“数据屏障”； ü 了解 Tapdata 如何为疫情防控赋能； ü 从实际战场上了解 Tapdata 和大数据平台的主要区别； ü 掌握 Tapdata 设计理念。 tapdata.net 2 

3 . 关于我 • 3 年线上、线下企业培训 • CSDN 认证博客专家 • 公众号半年破万粉，运营矩阵号20+ • 主导多个 DaaS 项目，涉及零售、制造、教育、军方、交通运输、医疗等行业 • 和张家港市卫健委共创 “疫情防控数据中台” tapdata.net 3 

4 . 日程安排 • 案例分享 • 流程演示 • 嘉宾连线 • Q&A tapdata.net 4 

5 .项目背景 

6 . 疫情防控工作体系-现状 流调溯源 核酸检测 隔离管控 社区防控 医疗救治 交通管控 物资保障 进口物品 流调线索管 进口冷链食 核酸采样 隔离点管理 信息核查 病例救治 来返港查验 物资储备 理 品 维系诊疗秩 流调溯源 核酸检测 接驳转运 社区管控 货车管控 物资调配 进口货物 序 病例拓扑分 隔离人员健 易感人群闭 疑似症状监 阳性报告 交通管控 库存预警 入境邮件 析 康监测 环防控 测 核酸采样 两区管控 120调度 车辆调度 缺：场所进 入登记系统 tapdata.net 6 

7 . 疫情防控工作体系-现状 28 个场景 16 条信息链 tapdata.net 7 

8 . 疫情防控工作体系-痛点 系统基本独立运行 数据标准不统一 有共性痛点 1. 相关系统之间信息传递链路 1. 各委办局各自按照自身防疫 1. 来返港人员被多方反复核实 未打通，信息传输大部分依 工作要求制定数据格式，缺 信息。 靠微信、群、在线共享文档； 乏统一标准。 2. 工作人员工作平台入口多、 下发数据质量一般、上报格 2. 相关系统缺乏业务协作，信 2. 现有软件无法适应多变的数 式多，需要反复统计上报。 息链难以闭环； 据统计上报要求，系统使用 3. 指挥领导获取数据慢、任务 效果一般。 下达难跟踪。 实际案例：需要来返人员登记 实际案例：社区需要将管控人 实际案例：比如来访港人员等 上传核酸监测报告或结果，实 员信息按照卫健委、公安等部 需要社区核实的信息质量差， 际可以调用核酸结果信息即可。 门要求，录入2个系统、填报4 造成重复核实、无效核实的问 张excel表格。 题。 tapdata.net 8 

9 .Tapdata 解决方案 

10 .Tapdata 解决方案：DaaS Data as a Service 上级健康大数据平台 分析展示 | 数字化大屏 ü 一切皆服务化 （XaaS）趋势下的数据即服务，介于 PaaS 和 SaaS 中间 ü 多源异构数据实时汇聚到中央化平台 API：统一数据服务及数据发布 ü 提供统一的数据输出接口及语义 MDM： 面向领域的主题数据 ü 为所有下游数据驱动业务提供实时，完整，准确的企 FDM： 数据镜像层 业主数据 张家港市相关数据 Ø 各医院数据汇总 Ø AI 、BI、报表、推荐、洞察 Ø 数仓、大数据、云数仓 Ø 应用数据库 ü 可以 私有化 或者公有云部署 tapdata.net 

11 .DaaS 工作模式 苏州健康大数据平台 核酸明细、汇总 专用平台 核酸检测系统 发布平台 核酸报告 流调系统 公安 流调模型 返岗人员信息 隔离点系统 乡镇 环境采样 居家管理系统 人员本底信息 临检仓库 其他 实验室 重点人员应检尽检 1. 批流一体采集 2. 流式计算合并建模 3. 形成物化视图 4. 实时推送至各地方 

12 .基于 CDC 的异构数据实时采集 基于数据库表的时间戳字段轮询 基于数据库 WAL 日志的实时采集 

13 . 分布式数据库（Mongo) 作为中台存储 … … Router Router Shard 1 Shard 2 Shard N 目录节点 Primary Primary Primary 目录节点 目录节点 Secondary Secondary Secondary Secondary … Secondary Secondary 横向扩展能力 支持多种数据模型 高性能高并发 多工况支持 ● TB – PB数据量支持 ● 模型变动灵活，易融合 ● 毫秒级响应– 比Hive快百倍 ● OLTP – 即时更新 ● 跨中心跨云部署能力 ● 结构化，半结构化 ● 高并发促销场景 ● OLAP：聚合运算 

14 . MongoDB vs. Hadoop 技术比较 技术考量点 Hadoop MongoDB 存储模式 HDFS文件模式，颗粒度较粗 BSON – 类似与关系库的一行数据，颗粒度较细 存储扩展能力 基于x86的分布式文件系统，支持PB级海量存储 通过Sharding支持分布式部署，支持PB级海量存储 高可用 数据默认三副本 数据默认三副本，使用RAFT协议 支持数据模型 结构化、非结构化 结构化、非结构化 查询模式 底层为MapReduce，文件扫描方式 支持索引，包括组合字段，地理，哈希，全文检索等 查询性能 数秒到数分钟 数毫秒到数秒，性能10-100倍 查询分析语言 Hive SQL， MQL， SQL（*） 写入模式 追加模式写入，不支持更新或者删除 支持更新，支持删除 实时应用 需配合Hbase，只支持主键查询 具有低延迟 实时分析 需要配合Spark + 大内存 自带实时聚合能力 + 大内存 数据服务能力 支持并发较低（数十、数百） 高并发能力（数千-数万） JSON 模型可直接用于REST API 

15 .技术实现 

16 .基于 DaaS 构建疫情防控数据服务底座 

17 . 物理部署架构 服务 功能模块 HOST 硬件配置 Tapdata Management 数据治理引擎 CPU：16c Management Oracle Tapdata API Server 管理模块 tapdata-01 RAM：32GB Flow Engine Tapdata Flow Engine API 发布节点 DISK：100GB Publisher MySQL Oracle Tapdata Management 数据治理引擎 CPU：16c tapdata-01 HA & MongoDB Tapdata API Server 管理模块 tapdata-02 RAM：32GB Load Balancing Management Tapdata Flow Engine API 发布节点 DISK：100GB SQLServer Flow Engine GaussDB CPU：16c Publisher Tapdata MongoDB Primary mongodb-01 RAM：64GB TiDB MetaDB tapdata-02 MySQL DISK：1TB 架构说明： 1. Tapdata Management：负责软件各模块调度和网页控制台展现。 元数据库 2. Tapdata API Server：负责数据发布及 API 网关。 mongodb-01 3. Tapdata Flow Engine：负责数据同步、清洗、多表关联、聚合计算 MongoDB 27017 等。 4. MongoDB：Tapdata 数据库，中间缓存结果，DaaS 数据库 

18 . 实时主数据解决方案：固化视图 - FDM, Foundation Data Model： - FDM层存储来自于业务源系统的采集数据 ； - MDM, Master Data Model - 根据业务主题对所有相关业务源数据进行 整合。 - 按照自然模型进行数据建模 - ADM, Application Data Model - 面向企业业务应用进行建模设计 

19 .数据架构 

20 . 场景说明：码表转换 + 流调模型整合 传统系统设计中，会加入字典表的设计 Tapdata 做法： 但是在后续应用中，会发现数据转换带来的开发工作量以及可传播性差 同步任务A：将字典表和人员基础信息 1:1 同步到 mongo 已有流调数据需要整合码表转换记录以及其他表的属性 同步任务 B：转换所有码表数据为业务表，可被业务直接使用 1、增加人员类型 - 人员类型来自 frame_codevalue表 - 通过code_guid ==‘xxx'，获得对应的item_value、item_text 值 - 根据 item_value 和 ld_contact 中 persontype 对应关系，给 ld_contact 增加对应的人员类 型中文说明字段persontype_text。 2、增加人员性质 3、增加隔离点名称 4、增加病例来源 5、增加病例归属 6、增加核酸采集信息 

21 . 场景演示 大数据局 公安 1. FDM 数据镜像同步 • 分别同步 MySQL 和 MSSQL 的数据到 MongoDB 的 FDM 层 实时分发 n 流调系统 n 苏州核酸库 2. MDM 开发 3 • 根据关联字段 FDM_HSYBCJ.GMSFHM == FDM 1 1 MDM FDM_id_contract.idcard 合并模型 2 3. 数据推送至大数据局、公安等需求单位 n FDM_id_contract n FDM_HSYBCJ n MDM_GRHSJL 

22 . FDM 同步 基础数据模型 FDM 同步 1:1 拷贝 尽量不做删减、清洗 

23 . MDM 制作 码表转换 根据关联字段 合并流调物化视图 page 023 

24 .在线演示 

25 .嘉宾连线 

26 .Q&A 

27 . Make Your Data on Tap 深圳钛铂数据有限公司 官网：www.tapdata.net 电话：0755-26656080 Email：team@tapdata.io 深圳市南山区临海大道香江金融中心 2410-13 Tapdata 官方微信