Self-Driving Databases-It All Starts with Workload Forecasting

众所周知,数据库管理系统(DBMS)由于其功能列表太长而难以部署和管理。如果一个系统能够自动优化自己,那么它将消除部署过程中的许多复杂问题和成本。研究人员和供应商构建的大多数咨询工具都是不完整的,因为它们要求人类对任何数据库更改做出最终决定,并且只有在问题发生后才能修复问题。最近的工作已经提出了“自驱动”DBMS,它针对应用程序当前的工作负载以及未来的预期工作负载对系统进行了优化。这些系统将支持现有的调优技术和容量规划,而无需人工确定正确的部署方式和适当的时间。
实现这种自主DBMS的第一步是能够建模和预测目标应用程序的工作负载。在本文中,我介绍了一个强大的预测框架,称为“QueryBot5000”,我们为自动驾驶操作设计的。该框架与任何数据库管理系统集成,根据历史数据预测未来查询的预期到达率。然后,它提供多个具有不同聚合间隔的预测层(短期与长期)。我还讨论了我们对自驱动DBMS如何使用这些预测模型来优化其性能的看法和进展。

展开查看详情

1.

2.▪ ▪ ➢ ▪ ➢ Improving Query Performance THE REAL WORLD OF THE DATABASE in Data Warehouses ADMINISTRATOR Business Intelligence Journal 06 Unisphere Research 15

3.▪ ➢ ➢ ▪ ➢ ➢ ➢

4.Perception Action Model Planning

5.Perception Action Model Planning

6.

7.▪ Prediction Horizon 1. Good Accuracy 2. Major Patterns 3. Cost vs. Accuracy Prediction Interval

8.▪ ▪ ▪ Cyclic (Diurnal) Growth and Spike

9. SQL SQL SQL Forecasts Query-based Workload Forecasting for Self-Driving Database Management Systems SIGMOD 18

10.▪ ▪ Millions → Thousands

11.▪ ➢ ➢ ➢

12.

13.A few large clusters exhibit major patterns

14.▪ ➢ ➢ ▪ LR+RNN has the best average accuracy

15.

16.

17.

18.▪ ▪ ▪ ➢ ➢

19.25%

20.▪ ▪ ➢ built ➢ building Benefit/Penalty Deployment Traditionally estimated by human

21.Perception Action Model Planning

22.▪

23.▪

24.▪ ▪ ➢

25.Perception Action Model Planning

26.▪ ➢ ▪ ➢ ➢ 26

27.▪ 27

28.▪ ▪ ▪ ▪ ▪

29.