企业级数据库新型研发模式 数据管理DMS实践

1 .为知 阿里云智能技术专家 

2 .企业级数据库新型研发模式 数据管理DMS实践 王天振 (为知) 

3 . 大纲 云时代数据库研发挑战 新型研发模式概述 数据管理 数据管理DMS最佳实践 DMS企业版 Q&A 

4 . 数据库研发的全生命周期 实例管理 搭建/购买实例 使用已有实例 性能诊断&优化 创建新数据库 空间、SQL性能 SQL诊断优化 权限管控 库、表、敏感列权限 会话、实时性能… 查询、DML、DDL权限 权限回收 Dev | Ops SQL审核 应用代码审核 表结构设计 多套生产环境发布 SQL文本 添加/修改索引、添加/修改列 SQL查询 数据阶段 功能验证 数据订正、 变更检查 导入、导出 业务分析 历史数据清理 

5 . 传统数据库研发面临的挑战 研发效率低 数据安全无保障 变更风险大 人员沟通成本高 难防敏感数据泄露 表结构变更锁表影响业务 研发规范难落实 弱审计甚至无审计 变更误操作无法快速恢复 多环境研发难题 人员变动权限无联动 业务高峰期变更难以防范 

6 .一种新型的企业级数据库研发模式 

7 .多种角色协同参与整个研发流程： 技术负责人 – DBA/运维人员 – 安全管理员 – 产品研发团队成员 。 技术负责人 DBA/运维人员 开发/测试/运营人员 阶段一 申请授权 用户、角色划分 制定规范 ≈ 制定安全规则 表结构设计规范 库、表、列 实例资源采购 变更规范 变更、导出、查询 高效闭环的研发流程 全局风险掌控 审批把控 研发需求申请 - 数据查询、导出 - 精准审计 高风险预警 - 变更安全把控 全自助申请 - 数据变更、导入 阶段二 - 数据库风险报告 - 数据风险识别 风险揭示 - 表结构变更 - 数据安全报告 - 规范检查 - 性能优化 ≈ 

8 .数据管理DMS的最佳实践 

9 . 数据管理DMS简介 数据管理 （Data Management Service，简称DMS） 研发流程 研发规范 数据访问安全 数据变更安全 统一授权管理 安全可审计 是一款强大的数据库管理和设计工具，直观的 元数据管理 工单协同 数据分析 数据回滚 跨库查询 数据分析 GUI开发环境让用户简单管理多达23种数据库，包括表 表结构设计 跨实例查询 数据可视化 无锁数据变更 无锁结构变更 SQL审核 结构设计、数据操作、数据开发及性能诊断优化等操 作。 阿里云 VPC专线 自建IDC 公网访问 内网访问 内网访问 内网访问 VPN网关 云数据库 公网数据库 友商云数据库 内网访问 DMS通过研发规范、权限控制、操作拦截、数据脱 ECS自建库 IDC自建库 友商自建库 敏、安全审计及变更回滚等功能有效保障数据安全。 MySQL SQLServer Oracle PostgreSQL MongoDB DRDS POLARDB AnalyticDB … Redis 

10 . 安全与效率：权限管控 • 场景 GRANT SELECT ON ORDER… GRANT SELECT,DML ON db.*… 运营 GRANT SELECT ON db.*… • 传统方法：数据库的权限管控 GRANT SELECT ON *LOG… 申请查询订单表数据 GRANT SELECT ON TEMP… • 无法打通企业内的用户组织架构 研发 • 多库多账号，授权数量庞大且分散。 申请查看和变更所有表 GRANT SELECT ON ORDER… GRANT SELECT,DML ON db.*… DBMS Client GRANT SELECT ON db.*… • 人工沟通效率低。 测试 申请查询所有表 GRANT SELECT ON *LOG… • 运维（创建、更新、销毁）成本极高。 DBA GRANT SELECT ON TEMP… 申请查询日志相关表 • SQL查询、SQL执行的操作记录审计困难。 GRANT SELECT ON ORDER… 审计 GRANT SELECT,DML ON db.*… GRANT SELECT ON db.*… • 通用账号盛行 申请查询个别表 GRANT SELECT ON *LOG… GRANT SELECT ON TEMP… 实习生 • 新的授权管理方案 输入 组织架构账号/云账号 权限类型 DMS统一授权管理体系 查询 导出 运营 GRANT ALL ON * TO DMS 查询 离职转岗权限回收 权限过期提醒 研发 权限时间 测试 7天 30天 绑定组织架构账号 列力度权限管控 GRANT ALL ON * TO DMS 365天 审计 角色分级管控 授权权利下放 权限目标 GRANT ALL ON * TO DMS 实习生 数据库 数据表 资源分级管控 权限审计大盘 敏感列 

11 . 常规的数据查询需求有风险吗？ 我要排查一个异常问题 线下沟通 往来邮件 产品迭代速度不可控 ≈ DBA/运维人员 单点瓶颈 业务故障 研发 线上数据查询需求 集中式管控 人员疲劳 资损 任意查询 机密数据泄漏 松散式管控 ≈ 直接操作 烂SQL 客户操作无响应 运营 数据库帐号 误操作 我要查询一年的业务数据 巨大的业务风险 

12 . 安全与效率：数据查询 • 可控SQL查询操作 包含 全局权限管控，风险识别，数据脱敏，操作审计，安全规则引擎 权限拦截点 执行风险预检 发起执行 结果风险预检 结果展示 研发/测试/运营 发起SQL 拦截点1-权限 拦截点2-风控 数据库 拦截点3-数据安全 结果 库表执行权限检查 主备分流探测 数据库稳定性 数据安全 访问来源 IP检查 执行超时机制 执行的并发控制 执行计划检查 数据脱敏 真实操作人审计 全局连接池控制 高风险语句拦截 敏感数据识别 细粒度业务审计 智能提示 我的SQL 结果行数限制 执行人限流 高敏感数据过滤 操作影响审计 模板SQL 格式化 实例性能实时探测 DMS安全规则引擎：具备可自由定义的研发规范和生成能力 

13 . 表结构变更要很小心！ 我的表主键是int类型，马上就不够用了！急！急！急！ 核心业务表 低峰期 百G级别数据 24H在线业务 

14 . 安全与效率：表结构设计 • 高效研发流程最佳实践-表结构设计 包含 工单协同、变更风险评估、自定义审批、变更风险降低策略 设计阶段 发布阶段 执行阶段 设计规范约束 发布单审批 降低变更风险 - 索引规范 - 大表变更风险（字段、索引） - 所有变更不锁表 自助提交 - 列使用规 申请发布 SQL调度 - 执行窗口检测 范 - 索引合理性 - DDL并发控制 ≈ - 命名规范 可撤销 定时/实时 多人参与协同 风险数据收集 - 锁等待检查 可回退 研发人员 - 字段级别协同 - 自定义审批流 - 实例性能探测 - 一致的设计副本 - 多维度决策数据 结束 - 安全的合并策略 - 分级审批 - 变更中断策略 DMS安全规则引擎：具备可自由定义的研发规范和生成能力 数据库研发：表结构变更阶段 业务团队x号项目研发：迭代2 

15 . 安全与效率：数据变更 传统方式 数据管理DMS 语法分析 权限检测 研发申请 自助提单 分析变更数据量 业务TL审 执行阶段 设计阶段 批 性能分析 业务TL审批 DBA初审 风险评估 DBA TL 敏感数据分析 审核 自助执行 数据自动备份 DBA执行 结果自动反馈 DBA每天只能处理20个工单 将DBA经验转换为产品 沟通成本高，容易引发故障 提升效率与安全 

16 .还有更多… 

17 . 更多强大能力 研发高效 变更稳定 数据安全 执行阶段 高效研发流程 智能的SQL风险审核 统一的授权管理 全局数据库管理 不锁表结构变更 可控的数据查询 便捷的数据查询 不锁表数据变更 智能的数据脱敏 易用的数据分析 可靠的SQL执行 精确的操作审计 通畅的数据库触达 精准的数据回滚 定制的安全规则 

18 . DMS实践下的全生命周期 混合云实例管理 购买云实例 同步混合云实例 性能诊断&优化 创建新数据库 空间、性能趋势 分级权限管控 变更、导出、查询 SQL诊断优化 库、表、敏感列权限 会话、实时性能… 统一授权管理（续期、回收） 个人账号绑定 SQL审核 表结构设计 应用代码审核 DevOps MySQL、PolarDB、DRDS、 SQL文本 Oceanbase 规范约束检查 多套环境发布 索引推荐 不锁表表结构变更 变更窗口管控 SQL查询 数据脱敏 数据方案 影响行数提醒 不锁表数据变更 可控数据查询 历史数据清理 跨库查询 数据订正、导入、导出 数据分析 数据回滚、测试数据生成 

19 .更多咨询，请钉钉加入DMS企业版用户群 

20 . 扫码加入社群 与志同道合的码友一起 粘贴二维码 Code Up 阿里云开发者社区 阿里云数据库微信公众号 

21 .谢谢！