基于LSTM-FCN的并发查询执行计划选择

doi:10.3778/j.issn.1002-8331.2012-0419

摘要/Abstract

摘要： 查询是数据库系统的主要负载，为查询选择合适的执行计划是提高数据库系统性能、最终提升应用系统性能的关键。针对当前查询优化器为并发查询选择的执行计划准确率较低、动态性不足的问题，利用长短期记忆（long short-term memory，LSTM）网络的时域特性和全连接层网络（full connected networks，FCN）对特征的融合及分类优势，提出基于LSTM-FCN的并发查询执行计划选择方法。设计并编码查询组合的执行计划特征和交互特征，将其作为网络的输入，为查询动态选择适合实际运行场景的执行计划。在PostgreSQL上的实验验证了所提方法可行有效，LSTM-FCN在不同查询组合及并行度为3、4、5、6、7的情况下，以97.06%的平均准确率为查询选择合适的执行计划。

关键词: 并发查询, 深度学习, 长短期记忆-全连接层网络（LSTM-FCN）, 查询交互, 合适的执行计划

Abstract: Query is the main load of the database system. Choosing an appropriate execution plan for query is the key to improve the performance of the database, and eventually that of the application system. Aiming at the problem of the relatively low accuracy and insufficient dynamics in the execution plan selected by the query optimizers for the concurrent query, this paper proposes a concurrent query execution plan selection method based on LSTM-FCN using the time domain characteristics of LSTM（long short-term memory） network, and the advantages of FCN（full connected networks） for feature fusion and classification. It designs and codes the execution plan and interaction characteristics for the query mix, then feeds them into the network, thereby selecting an appropriate execution plan for the query in actual operating scenarios dynamically. Experiments on PostgreSQL verify that the method proposed in this article is feasible and effective. LSTM-FCN selects the appropriate execution plan based on the average accuracy of 97.06% for the query under the conditions of different query mixes and parallelism of 3, 4, 5, 6, and 7.

Key words: concurrent queries, deep learning, long short-term memory-full connected networks（LSTM-FCN）, query interaction, appropriate query plan

章彬慧, 宋春花, 牛保宁, 柳浩楠, 陶温霞, 程永强. 基于LSTM-FCN的并发查询执行计划选择[J]. 计算机工程与应用, 2022, 58(2): 86-94.

ZHANG Binhui, SONG Chunhua, NIU Baoning, LIU Haonan, TAO Wenxia, CHENG Yongqiang. Selecting Execution Plan for Concurrent Queries Using LSTM-FCN[J]. Computer Engineering and Applications, 2022, 58(2): 86-94.

参考文献

[1] 刘维学.SQL Server查询优化器原理与优化实例分析[J].计算机技术与发展，2013，23（11）：108-111.
LIU W X.Query optimization principle and optimized instance analysis[J].Computer Technology and Development，2013，23（11）：108-111.
[2] AHMAD M.Query interactions in database systems[D].Canada：University of Waterloo，2013.
[3] 李桂杰，梅红.多关系SQL查询中连接顺序的优化[J].杭州电子科技大学学报，2006，26（2）：31-34.
LI G J，MEI H.Join order optimization in multi-relation SQL query[J].Journal of Hangzhou Dianzi University，2006，26（2）：31-34.
[4] 孙振兴，向阳，刘增宝.PostgreSQL查询优化器分析研究[J].计算机技术与发展，2011，21（8）：141-144.
SUN Z X，XIANG Y，LIU Z B.Analysis and research on optimizer of PostgreSQL[J].Computer Technology and Development，2011，21（8）：141-144.
[5] 任美睿，李建中，李金宝.基于遗传算法的关系数据库查询优化策略[J].黑龙江大学自然科学学报，2004，21（3）：64-67.
REN M R，LI J Z，LI J B.The database query optimization strategies based on genetic algorithm[J].Journal of Natural Sciences of Heilongjiang University，2004，21（3）：64-67.
[6] ZHANG J W，NIU B N，LI A P.An optimized sampling method for query interaction aware respond time modeling[J].Journal of Chinese Computer Systems，2015，36（10）：2240-2244.
[7] 裴泽锋，牛保宁，张锦文，等.并行查询下查询执行计划的选择[J].计算机应用，2020，40（2）：420-425.
PEI Z F，NIU B N，ZHANG J W，et al.Query execution plan selection under concurrent query[J].Journal of Computer Applications，2020，40（2）：420-425.
[8] SUN J，LI G L.An end-to-end learning-based cost estimator[J].Proceedings of VLDB Endowment，2019，13（3）：307-319.
[9] YANG Z H，LIANG E，KAMSRTTY A，et al.Deep unsupervised cardinality estimation[J].Proceedings of the VLDB Endowment，2019，13（3）：279-292.
[10] VAN A D，PAVLO A，GORDON G J，et al.Automatic database management system tuning through large-scale machine learning[C]//Proceedings of the 2017 ACM International Conference on Management of Data，Chicago，May，2017.New York：ACM，2017：1009-1024.
[11] ZHU Y，LIU J，GUO M，et al.BestConfig：tapping the performance potential of systems via automatic configuration tuning[C]//Proceedings of the 2017 Symposium on Cloud Computing，California，Sep 25-27，2017.New York：ACM，2017：338-350.
[12] LI G L，ZHOU X H，LI S F，et al.QTune：a query-aware database tuning system with deep reinforcement learning[J].Proceedings of the VLDB Endowment，2019，12（12）：2118-2130.
[13] DUGGAN J，UGUR C，PAPAEMMANOUIL O，et al.Performance prediction for concurrent database workloads[C]//Proceedings of the 2011 ACM SIGMOD International Conference on Management of Data，Athens，Jun，2011.New York：ACM，2011：337-348.
[14] ZUKOSKI M，HEMAN S，NES N，et al.Cooperative scans：dynamic bandwidth sharing in DBMS[C]//Proceedings of the 33rd International Conference on Very Large Data Bases，Vienna，Sep，2007.New York：ACM，2007：723-734.
[15] FQIAO L，REMAN V，REISS F，et al.Main-memory scan sharing for multi-core CPUs[C]//Proceedings of the 34th International Conference on Very Large Data Bases，Auckland，Sep 1-4，2008.New York：ACM，2008：610-621.
[16] 张延松，焦敏，张宇，等.并发内存OLAP查询优化技术研究[J].计算机研究与发展，2016，53（12）：2836-2846.
ZHANG Y S，JIAO M，ZHANG Y，et al.Concurrent in-memory OLAP query optimization techniques[J].Journal of Computer Research and Development，2016，53（12）：2836-2846.
[17] WANG W，ZHANG M，CHEN G，et al.Database meets deep learning：challenges and opportunities[J].ACM Sigmod Record，2019，45（2）：17-22.
[18] 毕里缘，伍赛，陈刚.基于循环神经网络的数据库查询开销预测[J].软件学报，2018，29（3）：799-810.
BI L Y，WU S，CHEN G.Database query cost prediction using recurrent neuralnetwork[J].Journal of Software，2018，29（3）：799-810.
[19] MARCUS R，NEGI P，MAO H Z，et al.Neo：a learned query optimizer[J].Proceedings of the VLDB Endowment，2019，12（11）：1705-1718.
[20] ZHOU X H，SUN J，LI G L，et al.Query performance prediction for concurrent queries using graph embedding[J].Proceedings of the VLDB Endowment，2020，13（9）：1416-1428.
[21] PostgreSQLWiki.TP-C[EB/OL].[2018-09-20].https：//wiki.postgresql.org/wiki/TPC-H.