迁移到MySQL的架构和性能探索

我们通常所说的迁移到MySQL更多是关注在数据迁移层面,而对于如何适配现有的业务架构、满足X倍性能的设计方案却提得比较少。杨建荣老师从架构演进和性能探索这两个维度分享了一个真实的数据迁移场景,讲解如何优雅地实现架构的平滑迁移、实现毫秒级优化,并且实现全生命周期的管理。

展开查看详情

1.迁移到MySQL的架构和性能探索 演讲人:杨建荣 全球敏捷运维峰会 广州站

2. 个人简介 杨建荣 竞技世界 腾讯云TVP Developer dbaplus社群发起人 Oracle,MySQL DBA, ACE 博客爱好者,连续坚持2100天+ 《Oracle DBA 工作笔记》作者 《MySQL DBA 工作笔记》作者 全球敏捷运维峰会 广州站

3. 目 录 01 02 03 04 梳理规划 架 构 演进 性能优化 双活切换 2019/11/16 全球敏捷运维峰会 广州站

4.1.迁移背景梳理 业务现状: 数据业务 账单业务 数据量 400G+ 1024G+ 数据特点 数据读写(插入,修改,查询 数据写入为主 数据属性 事务性数据 流水型数据 数据保留周期 物理备份保留周期1个月, 账单数据保留在2周以上 数据同步策略 数据业务通过调用存储过程生成账单数据 全球敏捷运维峰会 广州站

5.1.目标 业务层: 数据库层: 设计并验证MySQL分布式方案,具备支撑业 务系统能力。 实现数据业务和账单功能解耦; 类 型 内 容 延迟:读控制在1ms以内,数据写延迟 实现存储和逻辑计算解耦; 5ms以内; 性能 并发:支持当前并发量并且架构具备支 梳理和优化现有的数据体系 撑未来2-3倍量。 数据库架构支持同机房、跨机房高可用 可用 功。 扩展性 架构支持水平扩展。 全球敏捷运维峰会 广州站

6.1.迁移之旅规划 全球敏捷运维峰会 广州站

7.2.架构演进策略1:功能平移 全球敏捷运维峰会 广州站

8.2.架构演进策略2:系统架构拆分 全球敏捷运维峰会 广州站

9.2.架构演进策略3:读写分离扩展 全球敏捷运维峰会 广州站

10.2.架构演进策略4:读写分离扩展 全球敏捷运维峰会 广州站

11.2.架构演进策略5:业务拆分 全球敏捷运维峰会 广州站

12.2.架构演进策略6:事务降维 全球敏捷运维峰会 广州站

13.2.架构改进-部署架构改进 APP Service_name Service_name Service_name MySQL Cluster MySQL Cluster MySQL Cluster acc_data_platform acc_data_platform acc_data acc_data acc_log acc_log Proxy Proxy Proxy Proxy Proxy Proxy 分片1 分片2 分片3 分片4 分片1 分片2 分片3 分片4 分片1 分片2 分片3 分片4 全球敏捷运维峰会 广州站

14.2.架构改进-部署架构改进 Consul Server APP Consul Server Consul Server Service_name MySQL Cluster-IDC1 MySQL Cluster-IDC2 acc_data acc_data acc_log acc_log Proxy Proxy Proxy Proxy 分片1 分片2 分片3 分片4 分片1 分片2 分片3 分片4 分片1 分片2 分片3 分片4 全球敏捷运维峰会 广州站

15. 2.架构演进小结 1 3 弹性扩展 高 可 用 高 性 能 OPS:可支撑当前OPS的6倍+ ✓ 支持弹性扩展 ✓ 支持同机房、跨机房冗 ✓ 压测结果: ✓ 中间件节点动态扩容 灾 ✓ 2~6倍的压力下,性能稳定,目前压测峰 ✓ 数据节点扩容 ✓ 中间件节点高可用 值为10倍 ✓ 在线扩缩容,业务影响在5s ✓ 数据节点高可用 ✓ 2,4倍压力,读写延迟稳定 以内 ✓ 4倍压力下,集群OPS在2万+ 全球敏捷运维峰会 广州站

16. 数据库 读延迟 写延迟 源数据库 0.35ms 5ms MySQL 0.8ms 3.5ms 全球敏捷运维峰会 广州站

17.3.架构和性能验证-性能补充优化 全球敏捷运维峰会 广州站

18.3.架构和性能验证-部署架构优化效果 全球敏捷运维峰会 广州站

19.4.迁移策略1:全量同步和旁路 全球敏捷运维峰会 广州站

20.4.迁移策略2:增量同步和在线稽核 全球敏捷运维峰会 广州站

21.4.迁移策略2:流量平滑切换和回退 全球敏捷运维峰会 广州站

22. 小 结 01 02 03 04 梳理规划 架 构 演进 性能优化 双活切换 2019/11/16 全球敏捷运维峰会 广州站

23. THANK YOU! 全球敏捷运维峰会 广州站

数据连接未来!围绕Database、Bigdata、AiOps的企业级专业社群。行业大咖、技术干货,每天精品原创文章推送,每周线上技术分享,每月线下技术沙龙,受众20W+。