基于分片的高维稀疏数据存储模式优化研究

计算机工程与应用 ›› 2013, Vol. 49 ›› Issue (18): 99-104.

• 数据库、数据挖掘、机器学习 • 上一篇下一篇

基于分片的高维稀疏数据存储模式优化研究

邵慧萌，舒红平，郑皎凌，许源平，文立玉

成都信息工程学院软件工程系，成都 610225

出版日期:2013-09-15 发布日期:2013-09-13

Storage model optimization toward high dimensional sparse data based on slicing

SHAO Huimeng, SHU Hongping, ZHENG Jiaoling, XU Yuanping, WEN Liyu

Department of Software Engineering, Chengdu University of Information Technology, Chengdu 610225, China

Online:2013-09-15 Published:2013-09-13

摘要/Abstract

摘要： 针对大型数据库中高维稀疏关系表空字段对存储空间的占用问题，通过利用传统行存储数据库模拟列式存储数据库的工作原理，设计了一种基于分片的数据库结构。通过实验分析，数据库存储空间比原始模式降低了27.42%左右。在对高维稀疏数据中五个字段进行查询时，I/O数据块个数降低至原始模式的35.27%，对高维稀疏数据中四个字段进行查询时，I/O数据块个数降低至原始模式的28.22%，而随着字段的减少I/O数据块仍会进一步减少，从而提高了数据库的访问效率。

关键词: 高维, 稀疏数据, 列式存储数据库

Abstract: In large databases, empty fields in high dimensional sparse table may occupy a large amount of storage space. To deal with this problem, a slicing based database structure, which simulates the principle of column-store database in traditional row-store database, is designed. By analyzing on testing results, the storage space is decreased about 27.42% lower than the original model. The number of I/O data block is reduced to 35.27% when five fields of high-dimensional sparse data are queried, and 28.22% when four fields are selected. There will be a further reduction when the number of fields reduces. Therefore the accessing efficiency for database is improved.

Key words: high-dimensional, sparse data, column-store database

邵慧萌，舒红平，郑皎凌，许源平，文立玉. 基于分片的高维稀疏数据存储模式优化研究[J]. 计算机工程与应用, 2013, 49(18): 99-104.

SHAO Huimeng, SHU Hongping, ZHENG Jiaoling, XU Yuanping, WEN Liyu. Storage model optimization toward high dimensional sparse data based on slicing[J]. Computer Engineering and Applications, 2013, 49(18): 99-104.

[1]	胡晓敏，王明丰，张首荣，李敏. 用于文本聚类的新型差分进化粒子群算法[J]. 计算机工程与应用, 2021, 57(4): 61-67.
[2]	林炜星，王宇嘉，陈万芬，梁海娜. 基于多因子粒子群的高维数据特征选择算法[J]. 计算机工程与应用, 2021, 57(22): 199-207.
[3]	王丽丽，申燚，徐玉松，袁明新. 融合云模型和反向学习的克隆选择算法[J]. 计算机工程与应用, 2021, 57(17): 68-74.
[4]	张东梅，买日旦·吾守尔，古兰拜尔·吐尔洪. 面向高维混合不平衡信贷数据的单类分类方法[J]. 计算机工程与应用, 2021, 57(10): 233-240.
[5]	张迪，杨沛，邓鑫波，赵千川. ASExplorer：基于联合熵的多维相关性可视分析系统[J]. 计算机工程与应用, 2021, 57(1): 99-109.
[6]	武森，何慧霞，范岩岩. 拓展差异度的高维数据聚类算法[J]. 计算机工程与应用, 2020, 56(23): 38-44.
[7]	吴天纬，安斯光，孙崎岖，李梅，孙丽宏，申屠南瑛. 改进聚合树的高维多目标降维优化算法[J]. 计算机工程与应用, 2020, 56(21): 47-53.
[8]	刘文芬，穆晓东，黄月华. 基于多分辨率网格的异常检测方法[J]. 计算机工程与应用, 2020, 56(17): 78-85.
[9]	高文欣，刘升，肖子雅，于建芳. 柯西变异和自适应权重优化的蝴蝶算法[J]. 计算机工程与应用, 2020, 56(15): 43-50.
[10]	彭家寅. 以任意高维纠缠态为量子信道的受控隐形传态[J]. 计算机工程与应用, 2020, 56(12): 93-97.
[11]	黄冬梅，徐宸弋轩，郑霞，赵丹枫，何盛琪. 面向海洋预报任务的大数据可视化系统研究[J]. 计算机工程与应用, 2019, 55(7): 87-94.
[12]	邹德龙，王宝华. 一种混合优化算法面向高维函数优化的研究[J]. 计算机工程与应用, 2019, 55(20): 122-127.
[13]	王德贤，何先波，贺春林，周坤，陈敏治. 结合L1和L2正则化约束的隐语义预测模型研究[J]. 计算机工程与应用, 2019, 55(19): 121-127.
[14]	邓廷权，刘金艳，王宁. 高维数据离群点检测的局部线性嵌入方法[J]. 计算机工程与应用, 2018, 54(6): 115-122.
[15]	邱俊洋，潘志松，易磊，陶蔚，张梁梁. 一种利用Screening加速技巧的Lasso算法[J]. 计算机工程与应用, 2018, 54(4): 135-140.

基于分片的高维稀疏数据存储模式优化研究

Storage model optimization toward high dimensional sparse data based on slicing

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics