冲上云霄--腾讯海量业务上云实践V2.0

1 .云+社区技术沙龙 

2 .冲上云霄—腾讯海量业务上云实践 腾讯云高级工程师 黄宏东 

3 .自我介绍 ⚫ 业务开发出身的运维 ⚫ 先后在腾讯负责游戏、安全、医疗类业务运维 ⚫ 经历数年业务爆量、成本优化、业务上云、智能运维等重点项目 ⚫ 目前负责腾讯自研业务的运维与上云工作 

4 .目录 01 腾讯业务为什么要上云 02 业务上云的价值 03 如何上云 04 上云案例分享 

5 .腾讯业务为什么要上云 

6 .“烟囱式”的业务支持体系 接入服务 接入服务 接入服务 接入服务 业务 业务 业务 业务 服务框架 服务框架 服务框架 服务框架 KV/RDS KV/RDS KV/RDS KV/RDS CVM/Docker CVM/Docker CVM/Docker CVM/Docker IEG PCG WXG CDG 

7 . 幸福的烦恼 ⚫ 重复造轮子，每个部门一套轮子 ⚫ 缺乏统一规范，包括开源代码在内 Bug 多 ⚫ 开源文化落后，共享精神差，很多基础框架没有内部开源 ⚫ 技术支持不足，文档陈旧 ⚫ 数据技术不互通，部门间代码相互封闭，跟业界缺乏交流 ⚫ 缺乏维护，越来越多的历史遗留组件 ⚫ 没有技术图谱 

8 .2018年930变革 将原有七大事业群（BG）重组整合，新成立云与智慧产业事业群（CSIG）、平台与内容 事业群（PCG）。在连接人、连接数字内容、连接服务的基础上，更加彰显了腾讯推动由消费 互联网，向产业互联网的升级的决心。 代码开源 开源协同 相互协同 基于公有云模式研发 自研上云 组件框架上云，成为云服务 

9 . 业务上云价值 业务价值 工程师价值 客户价值 • 开发效率更高 • 使用业界标准化的云原生服 • 为行业输出公有云迁移经验 • 云上特性（VM热迁移等） 务，离开封闭的开发环境和组 • 更丰富的云服务和工具提供给 • 丰富的标准化云服务 件 客户 • 云原生TKE、研发CICD流程 • 工程师输出优秀的组件到云上 • 计算资源重用 成为标准服务，孵化成更好的 • 公共组件产品化 云服务 • 丰富的公有云海外资源 • 服务开源生态 

10 .如何上云？ --提升上云效率，降低迁移风险 

11 .业务上云策略 ⚫公有云专线与自研互通 CLB ⚫使用公有云服务 ⚫改造较大的搬迁组件上云 接入服务 ⚫使用云原生PaaS 业务 ⚫边上云边改造 IEG TEG PCG 服务框架 CDG WXG CISG Docker/K8S/TKE Redis/CKV CDB/Mysql CKafka COS CFS 

12 .业务上云五部曲 规划 设计 实施 验证 维护 信息收集 应用分析 方案设计 功能测试 业务验证 运营维护 风险应对 需求评估 风险分析 性能测试 效果评估 上云计划 上云策略 数据备份 问题优化 技术准备 云上部署 正式上云 

13 . 上云各环节注意点 功能、性能测试，云上云下对比 测试 服务调用质量、用户访问质量、 服务可用率 方案 安全、容量、难度、风险、数据 质量 业务上云 混合 迁移 混合云过度到全量公有云 接入服务、逻辑服务、数据存储、文件存储 

14 .数据库搬迁上云方式 数据上公有云 私有组件迁移上云 兼容公有云 • 冷迁移+增量 • 云上部署服务集群 • DTS自助热迁移 • 同步中心数据同步 • 自行维护和迭代 • 增量完成后切换读写 • 切换过程停写 • 同步中心或主备 • VIP或DNS寻址 • 业务切路由切换服务 

15 .接入层与应用层切换上云 灰度到全量的过程 Client DNS:GSLB 流量逐步迁移 腾讯IDC环境 腾讯云环境 TGW CLB 接入服务 接入服务 业务 业务 服务框架 服务框架 KVM TKE/CVM Redis Mysql Kafka Redis CDB CKafka CEPH COS CFS 

16 .QQ上云历程 --拥抱云原生 

17 .QQ三地混合云 华北云 华北自研 华东云 华东自研 香港自研 华南云 华南自研 

18 .QQ三地混合云 华北云 华东云 SSO接入 SSO接入 OIDB 状态系统 消息系统 OIDB 状态系统 消息系统 群/讨论组 鉴权平台 资料关系链 群/讨论组 鉴权平台 资料关系链 漫游系统 漫游系统 华南地区 深圳自研 广州云 SSO接入 SSO接入 OIDB 状态系统 消息系统 OIDB 状态系统 消息系统 群/讨论组 鉴权平台 资料关系链 群/讨论组 鉴权平台 资料关系链 漫游系统 漫游系统 

19 .数据库迁移方案 应用服务 DNS VIP:PORT 主 从 主 从 DTS数据 迁移工具 磁盘 磁盘 磁盘 磁盘 自研MySQL 云CDB 

20 . 同步中心混合云架构 上海云 业务读SET dispatch 深圳自研 存储转发 业务读SET dispatch 存储转发 深圳到上海 深圳到上海 存储转发 桥头堡 桥头堡 存储转发 业务接入 业务写入 代理 存储转发 深圳到广州 深圳到广州 存储转发 存储转发 桥头堡 桥头堡 存储转发 存储转发 失败备机 广州云 业务读SET dispatch 

21 .云原生 ⚫ 云原生计算基金会（CNCF），2015年由谷歌牵头成立，第一个毕业的项目Kubernetes。 ⚫ 在云上生长的应用，不是一个产品，而是一套技术体系和一套方法论。 ⚫ 包括DevOps、持续集成（CI）、持续交付（CD）、微服务、云基础设施（IaaS）、容器（K8S）、12要素等几大主题。 云原生方法 业务最佳实践 开发方法 敏捷开发、DevOps 蓝盾/TencentHub…… 团队 协作式DevOps团队 运维开发&应用开发 交付周期 短且持续 每天可交付数十次 应用架构 微服务，基于API的通信 TSF,Service Mesh 基础架构 以容器为中心 K8S（TKE） 部署可预测性 可预测 K8S（TKE） 弹性能力 弹性调度 K8S（TKE）+业务画像 恢复能力 自动化运维，快速恢复 K8S（TKE） 

22 .腾讯云容器服务（Tencent Kubernetes Engine ，TKE） TKE 管理体系 应用服务管理 业务管理 PAAS服务支持 服务监控 CI/CD 镜像仓库 数据库 用户体系 跨地域、跨集群部署 容器登录 服务告警 蓝盾 CSIGHUB 消息中间件 权限 分批灰度升级 容器权限同步 远程日志 OCI DockerImage 大数据 审计 测试、预发布、生产 QCI Docker Hub 安全 资源调度 自动扩缩容 负载均衡 服务发现 Kubernetes多集群管理 集群监控 集群日志 Cluster1 Cluster2 ……. 集群告警 腾讯云(IAAS) 基础设施监控 基础服务 基础设施日志 计算资源（CVM） 存储资源（CBS） 网络资源 ……. 基础设施告警 

23 .TKE应用适配 业务管理 网络 路由与服务发现 分批发布 • 基于业务维度管理 • 使用Ipamd • 支持CLB • StatefulsetPlus • 关联CMDB • 采用弹性网卡 • 支持L5/CMLB • 原地重启 • 基于业务维度鉴权 • 实现Pod IP跨集群访问 • 支持VIP 权限控制 镜像仓库 网络存储 远程日志 • 接口证书认证 • 基于项目管理 • CBS(SSD/SATA) • 远端日志挂载 • 基于RBAC授权 • 角色鉴权认证 • Cehp/NFS • 页面日志查询 

24 .CI/CD/CO 计划 需求 设计 开发 构建 测试 部署 搭建 监控 运营 

25 .业务上云总结 ⚫ 拥抱云原生 ⚫ 借上云革新研发模式，全面DevOps（CI/CD/CO） ⚫ 组件&工具上云，服务化，培育工程师文化 ⚫ 开源生态，合作共享 ⚫ 云基础设施经受海量业务的锤炼 

26 .T HANKS 关注云加社区公众号