热门城市
- 快召唤伙伴们来围观吧
- 微博 QQ QQ空间 贴吧
- 视频嵌入链接 文档嵌入链接
- 复制
- 微信扫一扫分享
- 已成功复制到剪贴板
How to develop and operate cloud native data platforms and applications
如今，人们可以在几秒钟内轻松地在AWS等云服务上启动或终止具有成百上千个计算实例的服务。但是，如果相应的系统不是以云原生方式设计的，那么操作，监视和维护这些资源也很容易成为噩梦。
在本次演讲中，我们分享了在Electronic Arts（EA）建立和重建监控系统和数据平台的经验教训。在第一代监控系统中，为许多单独的软件组件手动创建了配置，并分布在所有资源上。随着服务随着时间的流逝而迅速启动和终止，要使所有配置保持最新状态非常困难。因此，平均每天我们收到来自数千台机器的1,000多个警报，这给运营团队带来了压力。我们在2018年末的一个名为代码监控（MAC）的项目中重新设计了系统，重点是版本控制和自动化。 MAC使用GIT项目以与软件代码相同的方式管理所有配置。此外，它建立了标准，以便自动生成和部署配置以使所有内容保持同步。结果，它将每日平均警报数量减少了两个数量级。
在第一代数据平台中，我们将HDFS用作ETL作业和基础AWS存储服务S3之间的缓存层。但是，HDFS不是专用的缓存服务，因此需要自定义代码才能使其像缓存一样工作。我们必须在每个ETL作业中运行备份工作流，以将数据备份到S3，并同步在HDFS上运行的ETL作业和直接在S3上运行的交互式分析查询的元数据存储。此外，当群集承受重负载时，我们依靠复杂而脆弱的机制清除数据集。 HDFS的使用也使在高峰时段快速扩展YARN群集并在非工作时间缩减规模成为一个挑战。我们目前正在重新设计数据平台，主要是通过将HDFS替换为名为Alluxio的专用数据编排服务。在我们的初步评估中，Alluxio不仅提供了比HDFS更好的性能，而且还大大简化了我们的数据平台的体系结构，并使其易于扩展和缩减，并为云原生ETL处理堆栈铺平了道路。
3秒后跳转登录页面
去登陆
