淘宝网：OceanBase 分布式数据库的极致性能

1 .淘宝网*：OceanBase 分布式数据库的 极致性能 满足在线交易高性能、高容量、高可靠性和低总体拥有成本（TCO）的需求 编者按： 几何级数增长的海量数据为数据的整理、统计、分析和再利用能力带来了很大的挑战。SSD 以其特出的 IO 能力和低延迟，为海量数据的处理带来了希望。淘宝经历了从最初 Intel® 320 系列固态盘到最新的 DC S3500 系列的切换，获得了明显的性能和稳定性提升和成本降低。 “基于英特尔至强处理器和英特尔 英特尔® 固态盘 DC S3500 系列是针对主流数据中心应用而专门设计的企业级固态盘，其将 320 系列固态盘搭建的淘宝新一 快速而一致的读写性能与强大的数据保护和低活动能耗级别相结合，为数据库、内容分 发、搜索、视频会议、大数据分析或虚拟客户机等诸多应用领域提供更低的总体拥有成 代 OceanBase 高性能分布式数据 本。英特尔® 固态盘 DC S3500 系列采用英特尔® 第三代控制器、业界领先的 20 纳米多级单 库系统，借助英特尔固态盘在随机 元格（MLC）NAND 闪存技术以及全新的固件算法，能实现典型的 50μs（99.9% 的时间最 读取性能，25nm MLC 技术，断电 大为 500μs）的持续低读取延迟，高达每秒 75000 输入/输出（IOPS）能力（相比于 320 系 列，4kB 随机写入能力有多至 19 倍的提升）以及高达 80% 的性能一致性。英特尔® 固态盘 保护技术以及内置冗余技术等多 DC S3500 系列引入 RAS 设计理念，提供完整的端到端的数据保护、增强的电源丢失数据保 个技术强项，以及英特尔至强处 护和 XOR（内置 RAID）能特性，使其更好地满足数据中心级应用需求。英特尔® 固态盘 DC 理器强大的处理性能，这些帮助 S3500 系列已经在互联网以及能源、交通、电力、智慧城市等诸多领域得到广泛的应用。 OceanBase 高性能分布式数据库 英特尔® 固态盘 DC S3500 在淘宝的实际部署，进一步提升性能、降低延迟、增强可 靠性，同时更大的容量点也有助于方案的最优配置，帮助他们获取了更好的 TCO。 系统发挥出了最大性能，使其 具备了高性能，高容量，高可靠性 影响 借助于互联网技术的高速发展，电子商务 和低 TCO 的特质。” • 为未来注入动力：OceanBase 数据库系统 这一新兴的商务活动也正蓬勃发展，使得 的成功搭建，为淘宝提供了高性能、高容 购物更 加快速，便捷以及低成本。而作为 阳振坤博士 量、高可靠性和低 TCO 的新硬件平台， 该领域的佼佼者，淘宝正以每分钟数万宗 高级研究员 交易的速度为 数亿用户提供着快捷便利的 使得淘宝对海量数据的处理能力获得了质 淘宝 互联网商务服务。正因为有着如此庞大的 的飞跃，为电子商 务更好的为用户提供 优质服务提供了助力。 交易规模，淘宝的商 业数据总量也正急剧 挑战 膨胀，数据量从百 GB 增加到数 TB 乃至数 淘宝网（taobao.com）是中国深受欢迎的 • 新数据库系统：随着业务的发展，海量 十 TB，未来还可能增加到数百 TB。数据 网购零售平台，目前拥有近 5 亿的注册用 的数据令淘宝使用的传统的关系数据库 是电子商务的灵魂和生命，而传统的关系 户数，每天有超过 6000 万的固定访客， 不堪重负，需要一种新的数据库系统来 型数据库已经无法承担如此海量的数据， 同时每天的在线商品数已经超过了 8 亿 应对这一挑战。 如何构建一个新的数据库来有效应对这一 件，平均每分钟售出 4.8 万件商品。截止 海量数据正成为淘宝面临的重大挑战。 • 新硬件平台：新的 OceanBase 高性能分 2011 年年底，淘宝网单日交易额峰值达到 布式数据库系统需要一个强有力的新硬件 52 亿元，创造 270 万直接就业岗位。随 为了应对这个挑战，从 2010 年开始，淘宝 平台予以支撑。 着淘宝网规模的扩大和用户数量的增加， 自主研发了 OceanBase 高性能分布式数据 淘宝也从单一的 C2C 网络集市变成了包括 库系统，其实现了数千亿条记录、数百 TB 解决方案 C2C、团购、分销、拍卖等多种电子商务模 数据级别的跨行跨表事务，从而成为淘宝 • 强有力的新硬件平台：淘宝部署了包含 应对未来业 务发展的全新动力。但是，随 式在内的综合性零售商圈。目前已经成为 英特尔固态盘和英特尔至强处理器的新硬 着新的新数据库系统的逐步部署，其对淘 世界范围的电子商务交易平台之一。 件平台。 宝的硬件平台也提 出了更高要求。传统的 成功案例 | 英特尔® 固态盘 — 解决方案与成功案例 11 11 第 1 期 

2 . 基于英特尔固态盘和英特尔至强处理 OceanBase 高性能分布式数据库 系统特点： 器硬件平台的 OceanBase 高性能分布 • 功能 OceanBase 系统支持数千亿条记 式数据库系统的成功搭建，将帮助淘 录和数百 TB 数据，实现了包括跨 宝向用户提供更优质服务提供助力。 行跨表 事务、范围查询、联表 （join）等在内的关系数据库的主 要功能，支持服务器故障自动容错 和在线扩容，摒弃了分库分表。 基于 SAS（串行连接 SCSI）机械硬盘的硬 模来说，是否具有高性能的处理能力无疑 件平台显然已经无力应对 新的数据库系统 是衡量新一代 OceanBase 高性能分布式 • 特点 作为一个分布式系统，OceanBase 处理海量数据所要求的高性能、高容量、 数据库系统能力的重要指标。通过配置了 在多个服务器（通常是 3~4 个） 高可靠性和低 TCO（总体拥有成本）的要 英特尔至强处理器和英特尔 320 系列固态 上复制数据，从而在使用普通服务 求，因此，如何为 OceanBase 高性能分布 盘，新系统无疑在这方面有着优异的表 器的同时获得了高端服务器的高可 式数据库系统打造一个强有力的新硬件平 现。淘宝自行测试结果表明：与传统硬盘 靠性。城域网/广域网多机群的实 台，已经成为淘宝亟待解决的问题。 相比较，在硬盘数目缩减四分之一的情况 时/准实时同步能够有助于抵御各 下，处理性能反而提升了 5 倍。 类人为或自然灾害；磁盘随机写的 为了应对这一挑战，英特尔为淘宝提供 摒弃能够帮助固态盘与 OceanBase 了基于固态盘（SSD）和英特尔至强处理 高容量 达到完美匹配；而 OceanBase 内 器的全新硬件平台。 部自动分表使得从使用者的角度来 为了应对淘宝所面临的海量数据， 看无需再分库分表。 “我们所要解决的问题，就是在淘宝的数 OceanBase 高性能分布式数据库系统对硬 据规模不断增长的情况下，提供高容量、 件平台的容量也有着要求，借助于业界领 先的 25nm 多层单元（MLC）技术，英特尔 低 TCO 低成本、高一致性、高可靠的结构化数据 的存储和访问服务。”淘宝高级研究员， 320 系列固态盘以其大容量和低成本优势 “淘宝的收藏夹数据库之前使用了 16 台 OceanBase 高性能分布式数据库系统的架 为淘宝搭建新数据库系统。与以往的单层 服务器×2（双机房），配置为英特尔 构师阳振坤博士这样说道，“淘宝先前采 单元（SLC）相比，采用 MLC 技术的固态 至强 L5630 处理器和 300G*10 SAS HDD 用的关系数据库，由于其本质上是一个单 盘的存储容量将大出一倍，这就可以大大 硬盘，现在改用了 12 台服务器×2（双机 机系统，因此，尽管有各种方式的扩展， 提升新的 OceanBase 高性能分布式数据库 房），配置为英特尔至强 E5520 处理器 它仍然会受到规模的限制，要打破这个瓶 系统的存储容量并大大降低成本。 和 300G*10 英特尔 320 系列固态盘。” 颈，分布式的系统是一个很好的选择。淘 OceanBase 项目负责人李震这样提到， 高可靠性 宝是从事电子商务的，用户的商品、交易 “固态盘的特质使我们的数据库系统在提 数据是电子商务企业的生命和灵魂所在， 升性能的同时减少了机器的数量，单台服 都不能遗漏和出错，页面的展示要尽可能 因此能否保证数据库系统的安全可靠性是 务器的功耗也大大降低，降低了我们的 地快，因此，我们需要更高的数据一致性 硬件平台的一大挑战。而英特尔 320 系 TCO。此外，淘宝的业务在高速增长，数 和更快的数据库系统；此外，数量庞大的 列固态盘无疑在这方面有着突出的表现。 据量和访问量在加速增长，但电力和机房 小额交易意味着每一笔交易的成本必须尽 英特尔拥有业界领先的 NAND/SSD 生产 资源不可能同样的持续高速增长，从现在 可能的低。我们在基于英特尔 320 系列 以及质量管控技术，此外，英特尔在 320 起，我们就必须在提升服务能力和性能的 固态盘的硬件平台上开发了 OceanBase 系列固态盘产品上也引入了企业级应用环 同时降低服务器数量的增长速度，否则不 高性能分布式数据库系统，这个新的数据 境所必需的断电保护、内置冗余两项重要 仅成本我们无法承受，机房和机架也无法 库系统一是在性能上得到突破，二是在数 技术。断电保护技术可以帮助数据库系统 找到。从节省能源的角度来说，我们也必 据规模上可以达到关系数据库几十倍几百 在在遇到电力意外中断时防止数据丢失， 须要低碳环保。” 倍的规模，通过采用固态盘，查询性能以 即便在电力中断时也可以完成所有的写入 及响应时间得到了保障，最后，从节约 过程。而内置冗余技术是在规定的存储容 成本，环保节能的角度上来看，也有着优 量之上配备了冗余的 NAND 闪存阵列， 异的表现。” 在发生故障之时，可以自动重新配置故障 高性能 NAND 闪存阵列，从而降低了数据丢失的 找到适合于您公司的解决方案。请与您的 在电子商务的过程中，每一次交易都是通 可能性，进一步提升了数据库系统的可靠 英特尔代表联系，访问英特尔 IT 管理成功 过互联网上高速往来的数据来完成，每一 性。同时，与其他产品通常 3 年的保质 案例（www.intel.com/itcasestudies）或访问 个比特都需要强大有力的后台数据库系统 期相比，英特尔为其固态盘提供了 5 年的 英特尔 IT 中心网站 来进行处理。对于淘宝这样庞大的交易规 更长保质期，给予用户更强的质量保证。 （http://www.intel.com/itcenter） 12 英特尔® 固态盘 — 解决方案与成功案例 | 成功案例 第 1 期 12