AIOPS趋势下的CMDB建设方向、思考与实践

作为运维体系的基础组件,CMDB系统的建设质量与整个运维体系的建设息息相关,而当前AIOps的迅速发展也给CMDB的建设提出了更高的要求。付正全老师在充分分析了CMDB的发展趋势后,带大家重新认识了他心中理想的CMDB,从而提出了CMDB的规划、建设,以及AIOps趋势下的展望。

展开查看详情

1.AIOPS趋势下的CMDB建设 方向、思考与实践 演讲人:付正全 全球敏捷运维峰会 广州站

2. Agenda: 01 问题和挑战 02 重新认识CMDB 03 下一代CMDB建模思路 04 应对之道——方案和实践 05 总结和展望 全球敏捷运维峰会 广州站

3. 什么是CMDB? 百度百科:配置管理数据库( Configuration 变更 事件 Management Database,CMDB)是一个逻辑数据库, 管理 管理 包含了配置项全生命周期的信息以及配置项之间的关 系(包括物理关系、实时通信关系、非实时通信关系和 依赖关系)。 问题 配置 监控 管理 管理 管理 维基百科:CMDB是与IT系统所有组件相关的信息库。它 包含IT基础架构配置项的详细信息,CMDB的概念源自ITIL。 CMDB是ITIL框架的配置管理流程中的基础部分。CMDB的 实现一般需要“联合”,即从其它数据源,如资产管理系统, 告警 流程 获取数据并纳入CMDB中,期间数据的控制权仍然在数据源。 管理 管理 CMDB记录配置项,以及它们的重要属性和之间的关系 CMDB是构建其它ITIL流程的基础 全球敏捷运维峰会 广州站

4.哪些人关注CMDB? 运维人员 运营人员 ✓ 元数据管理 ✓ 资产采购 ✓ 资产配置 ✓ 资产盘点 ✓ 监控运维 ✓ 资产退库 研发人员 管理人员 ✓ 资产报表 ✓ 配置查询 ✓ 资产审计 ✓ 资产报表 ✓ 流程审批 ✓ 资源使用率 全球敏捷运维峰会 广州站

5. 问题和挑战 市场上CMDB平台面临的共性问题 随着业务发展,应 IT基础设施环境 用和资产数量上升 复杂,种类丰富 明显 资产数量多 资产种类杂 配置项完全自定义 容器化、系统上 扩展,无代码侵入 云导致资产变化 配置项扩展 资产变化频繁 性 频繁,资产配置 以及资产负责人 变化频繁 细粒度,精确的 精细化管理 业务关系管理 cmdb管理 基于服务树CMDB, 是CMDB系统价值 CMDB作为ITIL的 体现的关键 中台化 生命周期管理 基础组件,为其 他组件提供数据 资产全生命周期管理 支撑 成本管理 资产审计 全球敏捷运维峰会 广州站

6. 问题和挑战 我们面临的问题 资产盘点 资产流向 资产盘点以及统计带来很大成本以及数据的不 资产流向缺乏控制,无法充分合理使用资产 可靠性 01 设备,导致不必要的浪费。 自动化程度低 06 02 成本控制 没有准备的资产数据,导致运维 目前京东物流运营着数万台机器及各种IT 自动化,无法全面和准备的涵盖。 痛点 资产,如果不详细记录这些机器明细, 无法做到机器资源利用率的准确查看, 导致部分机器资源利用浪费。 05 03 审计合规 操作风险 没有统一的数据管理平台,以及资产管 04 目前运维需要对线上服务器批量操作, 理条例。无法确认申请资源的合理性, 如果服务器的记录的不全和不准确,导 对申请的审批和核实,也没有对应的操 致遗漏和误操作的问题。给运维提高了 作记录,对于资产的核实审计带来不便。 操作风险。 全球敏捷运维峰会 广州站

7.灵魂拷问: ◼ 有没有一个简单的CMDB? ◼ 有没有一个准确的CMDB? ◼ 有没有一个功能齐全的CMDB? ◼ 有没有一个使用体验良好的CMDB? ◼ 有没有一个能解决问题的CMDB? ◼ 有没有一个能解决ITIL,DevOPS,敏捷,精益思维的CMDB? 全球敏捷运维峰会 广州站

8. Agenda: 01 问题和挑战 02 重新认识CMDB 03 下一代CMDB建模思路 04 应对之道——方案和实践 05 总结和展望 全球敏捷运维峰会 广州站

9. 重新认识CMDB AIOPS 监控平台 运维平台 ITOM ITSM ITIL DevOps 敏捷开发 CMDB 资产审计 资源优化 精益软件 云计算 容器化 虚拟化 全球敏捷运维峰会 广州站

10.我心中的CMDB 元数据库管理 精确的元数据管理为其他平台提供数据支撑 提升工作效率 保证数据准确,与其他工具结合提升效率 降低操作风险 数据来源准确 符合合规查询 完善的审计流程,实现流程化、标准化 降低IT成本 资源集中化管理,结合监控平台进行资源优化 智能化场景支持 为AIOPS落地提供数据支撑 全球敏捷运维峰会 广州站

11. Agenda: 01 问题和挑战 02 重新认识CMDB 03 下一代CMDB建模思路 04 应对之道——方案和实践 05 总结和展望 全球敏捷运维峰会 广州站

12. 总体规划 运维体系规划 相对成熟 重点功能 智 根因分析 故障树 KPI聚类 智能告警 智能处理 决策树 故障预测 性能预测 统一支撑平台 发现 解决 规避 能 AIOPS 问题 问题 问题 异常检测 趋势分析 事件分析 知识库 异常反馈 深度学习 容量规划 预算规划 化 接入服务 数 API网关 日志 数据 可视 据 应用日志 调用链日志 Nginx 监控数据分析 数据挖掘 自定义统计报表 监控大屏 自定义大屏 分析 分析 化 化 单点登录 集成TestOPS 资源申请 自定义规则 动态缩容 易发 资源弹性 DevOps平台 权限管理 平台 编译、打包 自动化部署 调度平台 流量切换 自动扩容 监 Portal 火 监控大屏 红绿灯 报表中心 网 网络探查 监控大屏 固资系统对接 配置管理 控 眼 络 平 监 调用链 告警中心 通知中心 监 流量监控 网络巡检 设备探活监控 环境监控 工单系统 台 控 控 平 中间件 台 应 库 数 化 用 常用命令 软件部署 文件操作 房 JDDL UDBA 系统监控 分拣 据 运 运 安全支持 性能分析 环境检测 相 数据蜂巢 配置扫描 国际化 WMS 维 维 关 安全规范 配 任务管理 值班管理 安全扫描 资产管理 机房管理 事件管理 发布管理 置 ITSM 管 管理 混合云CMDB 应用管理 字典管理 问题管理 变更管理 项目管理 知识库 安全插件 理 阿 资 JDos Jimdb JFS 公 云主机 容器 ES 区 物理机 网络 Hadoop JDQ 基 域 大 源 有 数 米 库 层 ES MySQL JMQ 云 Redis RDS K8S 房 MySQL Redis 据 JRC Hbase 德 全球敏捷运维峰会 广州站

13.CMDB体系建设规划 Portal门户 运维门户 Devops平台 持续集成平台 中间件平台 业务支撑平台 架构平台 监控平台 运维平台 基础服务平台 申请管理 流程管理 CMDB 资产管理平台 计费管理 审计管理 全球敏捷运维峰会 广州站

14.CMDB体系建设思路 资产梳理 关系梳理 流程梳理 标准建立 智能分析 资产管理 自动扫描 智能报表 资产管理 关联分析 入库标准 寿命预测 审批管理 配置项管理 依赖树 变更标准 故障预测 变更管理 自学习 资源池管理 事件管理 报废标准 预算建议 1. 业务拓扑; 问题管理 标准审核 位置管理 2. 逻辑拓扑; 自学习 监控管理 3. 业务树; 应用管理 4. 事件依赖; 流程管理 标准 知识 5. 配置项依赖; 集 库 元数据管理 流程化 标准化 智能化 低 成熟度 高 全球敏捷运维峰会 广州站

15. CMDB建模思路 业务关系构建(初始化) 业务告警关联分析 指标1 应用1 故障分类 告警 可能的原因 故障1 告警1,告警2,告警3,… 原因1,原因2,原因3… 指标2 指标3 应用2 应用3 故障2 告警1,告警2,… 原因1,原因2… 故障n 告警2,告警3,… 原因2,原因3… 指标4 指标5 应用4 应用5 应用内 应用间 联动分析 基于故障知识库的告警关联分析 最终的业务关系 可能的业务关系 指标1 根因 应用1 指标1 应用1 指标2 指标3 应用2 应用3 指标2 指标3 应用2 应用3 指标4 指标5 应用4 应用5 指标4 指标5 应用4 应用5 知识库 应用内 应用间 应用内 应用间 基于智能告警分析的业务树构建过程 全球敏捷运维峰会 广州站

16.CMDB建模思路 事件 问题 应用 提供应用维度的管理 变更 告警 CI管理 分类管理 配置项 关注扩展性、准确性 字典信息 配置扩展 资产同步 变更消息 任务 数据通信、对外接口 审计任务 扫描任务 专注变化 全球敏捷运维峰会 广州站

17.基于CMDB的AIOPS场景探索 ◼ 智能告警分析 ◼ 故障预测 ◼ 根因分析 ◼ 反馈文本聚类 ◼ 应用异常分析 ◼ 咨询客服机器人 ◼ 关联异常分析 ◼ 数据库参数调优 ◼ 自动关系推导 ◼… … 全球敏捷运维峰会 广州站

18. Agenda: 01 问题和挑战 02 重新认识CMDB 03 下一代CMDB建模思路 04 应对之道——方案和实践 05 总结和展望 全球敏捷运维峰会 广州站

19.CMDB建设方案 平 对外接口 报表(变更,,比较,统计,等.) 管理 台 业务视图 网络视图 应用软件视图 关 系 映 射 服务拓扑 Repository 其他平台 资 数 产 据 建 同 步 模 Topological model 整合 增强 影响规则 变更跟踪 基 硬件 软件 业务应用 云资源 础 资 源 全球敏捷运维峰会 广州站

20.CMDB建设方案 扩展属性1 基本 扩展属性2 属性 。 。 。 扩展属性n + 扩展属性1 专有 扩展属性2 CMDB配置项管理 属性 。 。 。 扩展属性n + 资产标签1 资产 资产标签2 标签 。 。 。 资产标签n 全球敏捷运维峰会 广州站

21.服务树 ◼ 简单,从逻辑上简化资产间的物理连接关系,服务树可 以更好地专注于映射关系的处理。 ◼ 灵活,服务树的层级之间的关系并不是固定的,而是由 一个一个的资产标签组合而来。那么整个服务树的关系 定义就会非常灵活。 ◼ 弹性,除了维护逻辑的关系之外,同时支持另一类标签, 用来标示资源的属性。比如【机器状态】【机器idc】 等。可以支持更多维度的筛选。 全球敏捷运维峰会 广州站

22.CMDB建设方案 运维平台 CMDB 监控平台 Open API Agent 资产集 资产管理 字典集 部件扫描 同步 扫描任务 平台接口 模块交互 全球敏捷运维峰会 广州站

23. CMDB流程梳理 ◼ 资产上架流程 ◼ 资产录入流程 ◼ 服务器申请 ◼ 服务器下架 ◼ 服务器报废/维修 ◼ 机房管理流程 ◼ 开/关仓流程 ◼ 资产配置变更 ◼ 服务器异动 ◼ 应用申请 ◼ 应用下线 ◼ 应用配置变更 ◼ 。。。 全球敏捷运维峰会 广州站

24.资产生命周期管理 资产 应用 下线 申请 应用 资产 下线 申请 闭环 资产 应用 变更 上线 资产 资产 告警 监控 全球敏捷运维峰会 广州站

25. CMDB准确性 资产配置信息变化频繁,在资产变更时发 送广播消息(或通过接口)通知其他子系统同 自动发现是降低维护成本的一种有效方 业务接口 步变更,保证资产变化实时同步 式,提供固定IP段、协议参数等信息自 自动发现 (消息) 动扫描资产信息以及资产配置信息 运维资产信息变更的场景化流程梳理,比如说 开关仓,服务器开关机/断电,服务器下架等等, 流程化 这些流程需要与laos等平台打通,建立标准化 定时同步 变更流程 结合现有的IT运维流程,在某些场景下通 资产数据来源多样化,目前有来自j- 过人工变更把CMDB信息维护准确,比如 one/cap/dbs/中间件等其他平台的资产配置 人工维护 主机所属负责人变更、人员异动、机器异 信息,通过定时同步的方式作为补充手段 动等,可以通过人工直接变更完成 全球敏捷运维峰会 广州站

26. Agenda: 01 问题和挑战 02 重新认识CMDB 03 下一代CMDB建模思路 04 应对之道——方案和实践 05 总结和展望 全球敏捷运维峰会 广州站

27.总结和展望 保证资产准确性 为构建运维中台打好基础 CMDB 发展展望 AIOPS 站在AIOPS角度考虑CMDB 全球敏捷运维峰会 广州站

28. THANK YOU! 全球敏捷运维峰会 广州站

数据连接未来!围绕Database、Bigdata、AiOps的企业级专业社群。行业大咖、技术干货,每天精品原创文章推送,每周线上技术分享,每月线下技术沙龙,受众20W+。