企业搬站之旅-- 企业级存储产品助力核心业务系统上云

企业搬站之旅— 企业级存储产品助力核心业务系统上云
上云已成为企业加速数字化转型的催化剂
上云的关键在于核心业务上云
客户使用传统线下存储阵列的痛点
阿里云提供业界最齐全的存储产品,帮助客户核心业务上云
……

展开查看详情

1.彭亚雄 阿里云智能高级产品专家

2.企业搬站之旅 --企业级存储产品助力客户核心业务系统上云 彭亚雄

3. 上云已成为企业加速数字化转型的催化剂 • 43%的企业把全部业务放在云上 • 60%的企业用云支撑主营业务网站 • 70%的企业把一半以上业务放在云上 • 50%+企业用云支撑核心业务系统 数据来源:The trust report cloud computing in China (2018),IEEE中国/阿里研究院

4. 上云的关键在于核心业务上云 存储性能 高性能 计算 OLTP 内存 数据库 CRM 数据库 应用 ERP 日志 软件 数据 分析 OA 仓库 容器 开发 简单数据服务 办公 Email 测试 高级数据服务 大数据 归档 医疗 视频 影像 媒体 监控 备份 影像 存储容量

5. 客户使用传统线下存储阵列的痛点 时间 费用 运维复杂度 扩展性  项目招投标周期长  线下机房成本  专业存储管理员  供应商/品牌锁定  设备运输到货时间长  一次性投资成本  备份容灾管理  型号受限  安装调试时间冗长  长周期预先投入  数据安全可控  容量性能无法线性增长  软件/硬件维保  业务连续性设计

6. 阿里云提供业界最齐全的存储产品,帮助客户核心业务上云 统一数据管理平台 备份 容灾与恢复 日志服务 智能媒体管理 完整的混合云存储产品 闪电立方 完整的存储基础服务 云网关 在线迁移 软件定义存储 块存储 文件存储 对象存储 表格存储 存储阵列 8种规格 3种类型3种规格 3种规格 2种规格 离线迁移 分布式存储平台 边缘存储

7.真实案例分享 --看看他们是怎样把业务迁移上云的

8. ESSD云盘助力某视频直播客户全站上云 PC/移动客户端 访问加速服务 项目背景  某视频直播行业客户,需要通过上云来满足高速增长的业务发展, CDN P2P OSS 客户规划目标全站上云。 阿里云 痛点与挑战 IDC 接入层  客户在IDC使用带RAID卡的本地盘,上云后普通云盘无法满足礼物 接入层 多可用区部署 多可用区部署 多可用区部署 专线 交易、流量配置、聊天室等业务日志的时延要求(业务时延低于 LVS ECS SLB ECS 20ms),影响客户上云进展。 ECS Nginx 解决方案  采用ESSD云盘全面承载核心业务日志信息数据,满足稳定低时延、 tomcat 高吞吐的性能需求,业务时延降低近90%,接近客户线下本地盘 PHP-fpm 业务表现。 ESSD ESSD ESSD ESSD ESSD ESSD ESSD ESSD ESSD 业务收益  ESSD云盘提供稳定低时延、高吞吐能力,满足核心业务日志的性 业务数据层 能需求,替换后系统监控报警次数降为零; … Redis RDS Mongo  ESSD云盘具备9个9数据高可靠性,支持弹性扩容,实现存储资源随 业务发展而灵活扩展,运维更简单;

9. ESSD助力 振华重工 核心ERP系统部署上云 业务背景  振华重工主要生产港口用大型集装箱机械和矿石煤炭等散货装卸机 械,遍布全世界 101 个国家和地区,连续二十多年位居港口机械行 业市场份额全球第一。  SAP 上云项目是企业数字化转型的突破口,振华重工经过近半年调 研和多方评估,最终将包括 SAP S/4HANA 在内的核心业务系统部 署在公有云上,ERP 一期项目于 19 年 4 月正式上线。 业务挑战  数字化转型无从下手,希望减少 IT固定资产投入,精简运维人员  HANA吞吐量要求高,数据保护要求高,高端存储阵列成本高昂  安全等保要求高,线下同城和异地灾备方案成本过高  海外分支机构访问,必须保证网络安全,GDPR法案合规 解决方案&业务收益  振华重工集团将 S/4 HANA等 SAP核心应用部署在阿里云; 带动振华集团 OpenText、UEM、智慧集团等项目上云, 推动子公司 S/4HANA应用上云  HANA + ESSD云盘,性能是业界同类产品的 7~10倍, 是线下的5倍以上,充分加速业务上云 “此次 ERP 项目成功上线坚定了振华重工通过云计算来协助企业实现数字化转型的信心,作为数字化转型过程中最核心部分 ERP 系统部署 在公有云上的策略是完全正确的。” -- 振华重工 CIO 朱建国

10. 极速NAS加速某财经资讯门户实时行情交易系统上云 股民 业务需求: VPC  每天股市开盘前启动容器集群,加载股票实时行情数据对外提供查看服务;  容器启动时需要从共享存储NAS上并发读取海量小文件数据,同时要求容器在极端时 间内启动,避免影响开盘后行情查询; 容器集群 方案优势: POD1 POD2 POD3  采用NAS共享文件存储,只需要一份数据拷贝,多个容器集群可以共享访问数据  极速NAS低时延高IOPS的小文件处理能力,可以保障在5分钟内同时拉起10个POD。 极速NAS

11.CPFS文件存储助力中科院国家天文台FAST项目 阿里云并行文件系统托起PB级数据天文台 业务背景  在中国天文台FAST探寻脉冲星项目中,FAST望远镜作为全球顶尖的望远镜,要求下机数 据速率超高、时间超长,形成海量的原始数据,并以最短的时间完成对原始数据的分析。 需求与挑战  超高稳定性:全年不间断的接收望远镜的下机完整数据,满足众多计算节点的读写请求, 提供高效稳定的读写服务;  超大容量:以目前数据率最高的观测模式,连续一个月每天不间断的接收数据,存储系统 需提供至少PB级别容量,满足爆发式增长数据动态扩容需求;  超高读写带宽:通过众多计算节点对海量数据进行实时分析,需要极致读写带宽 解决方案  CPFS提供高效稳定的读写服务,百PB级别存储容量,百GB读写带宽,充分加速原始数 据实时分析

12. CPFS文件存储 加速某AI客户云上训练处理 业务需求: 线下数据采集与标注 本地服务器 GPU集群  采集的数据导入到客户 IDC 的存储中,并进行清洗标注 数据专线上云  标注后的数据,从客户IDC 通过专线上传到阿里云 OSS 拉取训练 云上训练与数据归档 本地存储 1Gbps专线 数据归档  需要训练的数据,从 OSS 导入到 CPFS,利用 GPU 和 CPFS 文件系统的强大处 数据上云 OSS对象存储 CPFS 并行文件系 理能力,在云端进行模型训练 统  训练完成后,数据归档到 OSS 进行长期保存 数据采集 清洗标注 云上训练 方案优势: 线下 IDC 阿里云机房  采用CPFS共享文件存储,提供统一的命名空间,用户只需要一份数据拷贝,即可 在数据清洗标注,训练、推理等不同阶段访问一个数据存储,简化架构  CPFS配合客户端缓存机制提供60~70w的IOPS,解决千万小图片读取性能的问 题。高达几十GB/s的聚合IO吞吐,解决数据并发读取时的IO瓶颈问题

13.ESSD & 极速NAS & CPFS 加速应用上云,业务增值利器

14. ESSD 商业化规模部署 全球超过16个可用区开放售卖 9 地域 16 可用区域 欧洲 中国北方 美国东部 日本 美国西部 中国南方 中国东部 中东 印度 香港 全球首款百万级IOPS云盘正式步入成熟售卖阶段 马来西亚 印度尼西亚 新加坡 澳大利亚 北京 上海 杭州 深圳 成都 张北 香港 印度 英国 ……

15. ESSD按照性能区分不同规格,性能与容量解耦 第一档 第二档 第三档 50 000 100 000 1 000 000 IOPS 上限值 IOPS 上限值 IOPS 上限值 单盘最大容量32TB 单盘最大容量32TB 单盘最大容量32TB 支持在线升配 同样的性能加速,不同的性能上限

16. ESSD相比于SSD云盘,时延降低70%,加速数据库类业务性能 SQL数据库 NoSQ数据库 实时业务分析 企业级商用软件 MySQL/PostgreSQL MongoDB Elasticsearch SAP HANA SQL Server/Oracle Redis/HBase Logstash/Kibana BW/ NetWeaver 规格 SSD云盘 ESSD云盘 对比 测试脚本 读时延 fio bs=4k iodepth=1 ioengine=libaio numjobs=1 0.5238 0.1829 降低65% (ms) runtime=1000 rw=randread 写时延 fio bs=4k iodepth=1 ioengine=libaio numjobs=1 时延降低 (ms) 0.6236 0.1127 降低82% runtime=1000 rw=randwrite 70%+ 对时延敏感型业务会有明显的性能提升,如数据库等业务类型

17. 典型业务场景 MySQL TPS提升2倍,时延降低60% SSD云盘 650GB ESSD云盘 650GB SSD云盘650GB ESSD云盘650GB 20000 500 18,359 16,439 400 15000 397 300 10000 11,062 200 232 5000 6,347 5,812 4,410 100 128 87 0 0 oltp_write_only oltp_insert oltp_update_index Avg Latency 95% Latency TPS测试结果 oltp_write_only latency

18. 典型业务场景 SAP HANA 启动时间缩短60% 写时延降低60%+ 带宽提升1.5倍 SSD云盘 ESSD云盘 SSD云盘 ESSD云盘 VPC 400 1600 1499 HA 366 ASCS ASCS 300 1200 (主 (备) ) 200 800 612 139 S/4 S/4 PAS AAS 100 400 HA ESSD ESSD 0 0 HANA System Replication HANA HANA SAP HANA log 写时延(ms) SAP HANA Load带宽性能(MBps) (主) (备) 区域1

19. 通过快照实现简单高效的数据备份和异地容灾能力 Region Region Region1 Region2 可用区 ECS实例 镜像 ECS实例 copy 云盘 ECS实例 云盘 云盘 镜像 云盘 云盘 (boot) (boot) (boot) 云盘 云盘 (data) (data) 可用区 可用区 云盘 (data) 快照 快照 快照 • 基于指定时间点的快照进行回滚云盘, • 通过快照转镜像服务,批量创建ECS实例 • 相同Region内,快照存储在OSS集群中,与块存 无需重新创建云盘 • 通过镜像复制能力,能够实现异地备份 储服务独立部署 • 基于Lazyload模式,秒级恢复。无需等 • 利用快照跨AZ复制能力,当某个AZ不可用时,通 待全部数据复制到云盘即可使用 过快照快速创建云盘进行业务恢复 • 在线回滚,无需停机服务

20. 极速型NAS — 高性能企业应用存储 针对海量小文件场景提供百微秒级低时延和高IOPS访问能力 百微秒级时延 高IOPS 数据快照 数据加密 最低500us 稳定时延 海量小文件场景随机 文件系统快照满足企业 数据落盘加密满足安 支撑时延敏感型应用 读写 30K IOPS 级客户需求 全合规性要求

21. 极速型NAS典型应用场景 Nginx、PHP高性能 Dev/Test、GitHub Kubernets、ECI容器 网站和WEB服务 代码托管和CI集成 服务高性能共享存储 不必再为下列问题烦恼: • 时延增加导致的服务器负载升高 • 小文件操作响应速度慢,cp、ls、mv等操作卡顿 • 系统运行缓慢,网站加载速度慢

22. 百微秒级稳定时延下小文件操作性能提升 秒 Magento电商网站响应速度 实时日志分析服务器负载 100% 92% 70 90% 60 80% 60 70% 50 60% 服务器负载下降 响应速度提升 7倍 40 50% 20倍 40% 30 30% 20 20% 13% 10 10% 3 0% 0 load average 极速型 分布式NAS 极速型 分布式NAS 测试场景:Magento电商网站页面 测试场景:多台ECS实时日志写入到 加载响应时延 NAS

23. 文件存储CPFS —专为HPC高性能计算设计的存储系统 High Performance Compute Cluster • 高性能和高扩展性 Compute Compute Compute …… • 支持数万个客户端计算节点 High Speed Network • 数百GB的聚合I/O吞吐量 CPFS Storage Cluster • 完全托管,即开即用 Storage Storage Storage Server Server Server …… • 提供标准的POSIX/MPI接口

24. CPFS典型应用场景 AI训练 影视渲染 基因测序 仿真测试 油气勘探 气象分析 • 小文件多,大小文件混合 • 高吞吐,高IOPS,低延时需求 • 成千上百台机器同时访问,计算任务数多 • 容量性能可以向上扩展

25.阿里云存储,满足企业上云对数据的一切需求 OLTP数据库 应用软件 决策分析 备份/归档

26. 扫码加入社群 与志同道合的码友一起 粘贴二维码 Code Up 阿里云开发者社区 表格存储技术交流群

27.谢谢!

阿里云栖开发者沙龙是“云栖社区”主办的线下技术沙龙品牌,希望通过技术干货分享来打通线上线下专家和开发者的连接。