云存储技术和应用

1 .云存储技术和应用

2 .提纲 存储发展历史 云存储概念和技术 云存储应用

3 .存储的发展历史 直连存储 DAS 存储区域网络 SAN 网络附着存储 NAS 对象存储设备 OSD

4 .存储发展历史 - 直连存储 DAS Direct-Attached Storage 概念：存储设备是通过电缆（通常是 SCSI 接口）直接到服务器的， I/O （输入 / 输入）请求直接发送到存储设备。

5 .存储发展历史 - 直连存储 DAS Direct-Attached Storage 备份和恢复：占用服务器资源，数据量越大，备份和恢复的时间就越长 CPU 发展速度比存储发展速度快，磁盘阵列容量增大， IO 成为瓶颈 服务器或磁盘阵列扩展都需要停业务，电信和银行无法忍受 服务器 SCSI 插槽数量有限，存储资源和数据无法服务器之间共享

6 .存储发展历史 - 存储区域网络 SAN Storage Area Network  概念： SAN 的概念是允许存储设备和 CPU （ 服务器 ）之间建立直接的高速 网络 （与 LAN 相比）连接，通过这种连接实现只受光纤线路长度限制的集中式存储。 光纤交换机

7 .存储发展历史 - 存储区域网络 SAN Storage Area Network  独立于服务器网络的高速光纤存储网，适合大数据高速处理 存储资源全局多主机动态共享 备份与恢复：不需要服务器参与 IO 带宽：多个服务器可以并行访问统一存储设备 在线升级：在线增加服务器或存储设备 扩展性：光纤交换机 提供很多接口，也可以连接其他交换机

8 .存储发展历史 - 块访问

9 .存储发展历史 - 块访问

10 .存储发展历史 - 网络附着存储 NAS Network Attached Storage 概念 NAS 由 SUN 公司在上个世纪 80 年代中期推出 NFS 开始，是一种面向用户提供文件级服务的专用数据存储设备，存储系统不再通过 I/O 总线附属于某个特定的服务器或客户机，而是直接通过网络接口与网络直接相连，由用户通过网络访问。

11 .存储发展历史 - 网络附着存储 NAS Network Attached Storage 容易部署：不需要依赖任何其他设备，只要有一个网络端口就可以在任何能上网的设备上使用 易于使用：文件接相对块接口更容易使用 文件共享：方便多个主机共享数据 长距离传输：基于 IP 网络 易于扩展：简单的增加 NAS 设备到网络中即可 低成本：相对 SAN 价格便宜

12 .存储发展历史 - 文件访问

13 .存储发展历史 - 文件访问 文件的 Inode 包含多个块，为了提高大文件操作效率还会将两个或三个块组合起来提供访问。

14 .存储发展历史 - 本地文件系统 文件 / 目录管理 10% 工作量 块管理 90% 工作量

15 .存储发展历史 - 分布式文件系统 通过 NFS/CIFS 接口访问

16 .存储发展历史 - 对象存储

17 .存储发展历史 - 对象存储设备 OSD SCSI Block Interface Storage Device Block I/O Manager Object Interface Applications File System User Component File System Storage Component System Call Interface CPU Applications File System User Component System Call Interface CPU Storage Device Block I/O Manager File System Storage Component

18 .存储发展历史 - 对象存储设备 OSD Managers Object-based Storage Devices MANAGEMENT Eth switch SAN SECRET KEY SECRET KEY SECRET KEY Access Request DATA Validate Capability Client

19 .存储发展历史 - 对象存储 vs 块存储

20 .存储发展历史 - 对象存储 vs 文件存储 存储自治： 容量扩展 负载均衡 备份 QoS 、 SLA 感知和数据分组 预取 压缩 / 去冗余 强安全 / 加密 Compliance 、 Retention 、 secure delete 可用性、副本 自治愈

21 .存储发展历史 - 对象定义 对象的定义 Object ID ：对象唯一标示 User Data ：对象的数据 Metadata ：元数据，空间管理信息 Attributes ：对象属性

22 .存储发展历史 总结

23 .存储发展历史 总结

24 .云存储需求

25 .云存储需求 2011 年全球数据量将达 1.8ZB ，这人类将开始进入 ZB 时代

26 .云存储需求 高容量：海量，且可扩展 高性能：快速的访问、定位 高可用：个别磁盘失效，甚至整个中心被毁 低成本：传统的 NAS 、 SAN 技术构建大规模存储系统成本很高

27 .云存储概念和特点 云存储是在云计算 (cloud computing) 概念上延伸和发展出来的一个新的概念，是指通过集群应用、 网格技术 或分布式文件系统等功能，将网络中大量各种不同类型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。 高可用、可扩展、按需付费

28 .Google Cloud Google File System BigTable Google App Engine MapReduce Microsoft Azure Live Services SQL Services .NET Services Sharepoint Services Dynamic CRM Services IBM Blue Cloud Hadoop DB2 Xen & PowerVM Websphere Tivoli Software Amazon Cloud S3 SimpleDB EC2 Simple Queue EBS 云存储有哪些？

29 .云存储的热点 分布式文件系统（ Google GFS 、 Hadoop HDFS 。。） NoSQL 数据库（ Google BigTable 、 Facebook Cassandra 。。） 对象存储（ Amazon S3 ） 分布式块存储（ Amazon EBS ）