Research on Realizing Relational Database In-Memory Storage Model

doi:10.3778/j.issn.1002-8331.2009-0508

Abstract

Abstract:

In a big data environment, the disk database has I/O bottleneck in high concurrent scenarios, while disk data memorization is an effective solution to solve this, and existing memory technologies have problems such as data loss, complex configuration. Based on the in-memory database Redis and taking MySQL as an example, it proposes a lightweight memorization scheme that solves the disk read-write bottleneck of relational databases. This scheme not only improves the database's throughput in high-concurrency scenarios, but also enables access to massive hotspot data efficiently. Row-Based Key-Value storage conversion Model（RB-KVM） and Piecewise Column-Based Key-Value Cross storage conversion Model（PCB-KVCM） are constructed to realize the transformation of heterogeneous database storage model and automated data migration. Finally, it analyzes and compares the two models, and shows RB-KVM has higher data access efficiency, and PCB-KVCM has higher memory utilization and lower time cost.

Key words: MySQL database, distributed Redis cluster, data migration, model transformation, memory storage technology

摘要：

大数据环境下，磁盘数据库存在高并发I/O瓶颈，磁盘数据内存化是解决传统关系型磁盘数据库I/O瓶颈的有效方案。已有的内存化技术存在数据丢失、配置复杂等问题。基于内存数据库Redis，以典型开源关系型数据库MySQL为例，提出一种解决关系型数据库磁盘I/O瓶颈的轻量级内存化解决方案，实现MySQL的内存化存储。同时构建行式键值（RB-KVM）和分段列式键值交叉（PCB-KVCM）存储转换模型，实现异构数据库存储模型的转换和自动化数据迁移。通过分析对比，RB-KVM数据存取效率更高，而PCB-KVCM具有更高的内存利用率且在时间开销上优于RB-KVM。通过实际运行分析，该技术不仅提高了数据库在高并发场景下的吞吐能力，实现了海量热点数据的高效存取，在实际应用中也更加快捷，实施成本更低。

关键词: MySQL数据库, 分布式Redis集群, 数据迁移, 模型转换, 数据内存存储技术

ZHANG Jun, LIAO Xuehua, YU Xuling, LEI Meng. Research on Realizing Relational Database In-Memory Storage Model[J]. Computer Engineering and Applications, 2021, 57(19): 123-128.

张俊，廖雪花，余旭玲，雷蒙. 关系型数据库内存化存储模型研究[J]. 计算机工程与应用, 2021, 57(19): 123-128.

References

[1] 李紫艳.探索数据库技术在现代企业中的运用[J].数字技术与应用，2017（4）：238-239.
LI Z Y.Exploring the application of database technology in modern enterprises[J].Digital Technology and Application，2017（4）：238-239.
[2] 韩子文，于治楼，李丽.海量存储系统I/O性能瓶颈分析[J].信息技术与信息化，2013（1）：77-80.
HAN Z W，YU Z L，LI L.The analysis of I/O performance for mass storage system[J].Information Technology and Informatization，2013（1）：77-80.
[3] 胡彬华，李晓，梁剑.异构分布式数据库系统集成的研究与实现[J].计算机应用研究，2002，19（10）：67-70.
HU B H，LI X，LIANG J.The research of heterogeneous distributed database systems integration and implement[J].Application Research of Computers，2002，19（10）：67-70.
[4] EL ALAMI A，BAHAJ M.Migration of a relational databases to noSQL：The way forward[C]//International Conference on Multimedia Computing & Systems，2016：18-23.
[5] 王珊，肖艳芹，刘大为，等.内存数据库关键技术研究[J].计算机应用，2007，27（10）：2353-2357.
WANG S，XIAO Y Q，LIU D W，et al.Research of main memory database[J].Computer Applications，2007，27（10）：2353-2357.
[6] LEE C H，ZHENG Y L.SQL-to-NoSQL schema denormalization and migration：A study on content management systems[C]//2015 IEEE International Conference on Systems，Man，and Cybernetics（SMC），2015：2022-2026.
[7] STANESCU L，BREZOVAN M，DAN BUR-DESCU D.Automatic mapping of MySQL databases to NoSQL MongoDB[C]//IEEE International Conference on Computer Science & Information Systems，2016：837-840.
[8] 杨明珉，陈勇.MySQL集群到Oracle数据库的数据同步方法[J].计算机系统应用，2018，27（6）：60-68.
YANG M M，CHEN Y.Data synchronization method for MySQL Cluster to Oracle database[J].Computer Systems and Applications，2018，27（6）：60-68.
[9] YASSINE F，AWAD M A.Migrating from SQL to NOSQL Database：Practices and analysis[C]//International Conference on Innovations in Information Technology，2018：58-62.
[10] 贾天宇，丁贵广，李长青，等.一种关系型数据库到MongoDB的模型转换和数据迁移方法：CN201610424619.4[P]. 2016-11-16.
JIA T Y，DING G G，LI C Q，et al.A model transformation and data migration method from relational database to mongodb：CN201610424619.4[P].2016-11-16.
[11] SOLANKE G B，DESHMUKH S S.SQL to NoSQL transformation system using data adapter and analytics[C]//IEEE International Conference on Technological Innovations in Communication，2018.
[12] MOLKA K，CASALE G，MOLKA T，et al.Memory-aware sizing for in-memory databases[C]//2014 IEEE Network Operations and Management Symposium（NOMS），Krakow，2014：1-9.
[13] SOKOLOVA M V，GóMEZ F J，BORISOGLEBSKAYA L N.Migration from an SQL to a hybrid SQL/NoSQL data model[J].Journal of Management Analytics，2020，7（1）：1-11.
[14] 宋云奎，吴文鹏，赵磊，等.基于Redis的分布式数据存储方法[J].计算机产品与流通，2020（8）：106.
SONG Y K，WU W P，ZHAO L，et al.Distributed data storage method based on redis[J].Computer Products and Circulation，2020（8）：106.
[15] 韦立，陈珊珊.基于Redis单位最大效益自适应迁移策略研究[J].计算机技术与发展，2018，28（10）：53-58.
WEI L，CHEN S S.Research on an adaptive migration strategy of unit maximum benefit based on redis[J].Computer Technology and Development，2018，28（10）：53-58.
[16] 闫密巧，王占宏，王志宇.基于Redis的海量轨迹数据存储模型研究[J].微型电脑应用，2017，33（4）：9-11.
YAN M Q，WANG Z H，WANG Z Y.Large-scale trajectory data storage model based on redis[J].Microcomputer Applications，2017，33（4）：9-11.