StreamQCTree：一种流数据方压缩结构

计算机工程与应用 ›› 2011, Vol. 47 ›› Issue (19): 140-143.

• 数据库、信号与信息处理 • 上一篇下一篇

StreamQCTree：一种流数据方压缩结构

甘亮，刘东红，贾焰，韩伟红

国防科技大学计算机学院，长沙 410073

收稿日期:1900-01-01 修回日期:1900-01-01 出版日期:2011-07-01 发布日期:2011-07-01

StreamQCTree：efficient compression structure for streamcube

GAN Liang，LIU Donghong，JIA Yan，HAN Weihong

School of Computer，National University of Defense Technology，Changsha 410073，China

Received:1900-01-01 Revised:1900-01-01 Online:2011-07-01 Published:2011-07-01

摘要/Abstract

摘要： 数据流管理系统计算聚集查询结果保存在内存中形成流数据方（StreamCube），提供快速、精确的在线OLAP查询。有限的内存空间需要一种有效的存储方法来存储更大时间窗口的流数据方。提出一种基于QC-Tree结构的流数据方StreamQCTree生成、裁剪及查询方法。将QC-Tree结构中上界集划分为基本上界类和附加上界类;并分析附加上界类的成本计算模型;根据该模型在固定存储空间下，采用动态选择物化结点的方案选择物化部分附加上界类，使对StreamQCTree的平均查询响应时间最小。实验表明，StreamQCTree能够有效地访问数据方且获得较好的压缩效果。

关键词: 网络安全事件监控, StreamQCTree, 流数据方, 数据压缩, 联机分析处理, QC-Tree

Abstract: StreamCube，which responses OLAP queries fast and accurately，is in-memory and composed of Group-bys from DSMS.Becasue of limited capacity of memory，it needs an efficient structure to keep more information of StreamCube with more large time window.This paper presents a QCTree-based structure，StreamQCTree，with constructing，pruning and search algorithm.The upper bounds in QC-Tree are partitioned into two classes：Basic Upper Bounds（BUB） and Addition Upper Bounds（AUB），and cost model of AUB is analyzed.Using the cost model，a dynamic select approach is put forward to choose the AUBs with high cost-benefit in fixed memory，which gains less average response time for all queries in StreamQCTree.Experiments show that StreamQCTree performs well in compressing StreamCube and make queries efficiently.

Key words: network security events monitor, StreamQCTree, stream cube, data compression, On-Line Analytical Processing（OLAP）, QC-Tree

甘亮，刘东红，贾焰，韩伟红. StreamQCTree：一种流数据方压缩结构[J]. 计算机工程与应用, 2011, 47(19): 140-143.

GAN Liang，LIU Donghong，JIA Yan，HAN Weihong. StreamQCTree：efficient compression structure for streamcube[J]. Computer Engineering and Applications, 2011, 47(19): 140-143.

[1]	杜德，高保禄，田力. 结合快速层式DCT和动态LOD的地形压缩绘制技术[J]. 计算机工程与应用, 2020, 56(13): 223-229.
[2]	朱丽1，李爱萍1，段利国1，李晓伟2. 基于空间相关性与灰色模型的WSN数据压缩方法[J]. 计算机工程与应用, 2018, 54(20): 87-92.
[3]	满毅，章炯民，徐晓锦. 一种基于朴素贝叶斯算法的OLAP缓存机制[J]. 计算机工程与应用, 2017, 53(6): 85-90.
[4]	王海起1，彭佳琦1，张腾2，桂丽1. 油气储层垂向折面剖切及二三维可视化研究[J]. 计算机工程与应用, 2017, 53(24): 196-201.
[5]	张正伟1，2，吴礼发1，赖海光1，李华波1，郑成辉1. 基于IWT和广义差值扩展的可逆水印算法[J]. 计算机工程与应用, 2016, 52(8): 84-89.
[6]	唐珊珊，朱跃龙，朱凯. 基于Map/Reduce的外壳片段立方体并行计算方法[J]. 计算机工程与应用, 2015, 51(22): 124-129.
[7]	张宇1，2，张延松1，2，3，陈红1，2，王珊1，2. 向量计算Array OLAP查询处理技术[J]. 计算机工程与应用, 2015, 51(18): 24-31.
[8]	吴海峰1，詹文法2，程一飞1. 无理数字典码的测试数据压缩方案[J]. 计算机工程与应用, 2014, 50(7): 235-237.
[9]	陈庆辉1，2，陈小松1，韩德良1. 中文文本压缩的LZW算法[J]. 计算机工程与应用, 2014, 50(3): 112-116.
[10]	史久根，刘　　胜. 基于压缩感知的无线传感网络数据压缩[J]. 计算机工程与应用, 2014, 50(10): 78-81.
[11]	刘娟1，詹文法2. 数据块相容性统计的测试数据压缩方案[J]. 计算机工程与应用, 2013, 49(22): 26-29.
[12]	高海洋1，2，沈强1，张轩溢1，赵志军1. 一种基于数据压缩的Apriori算法[J]. 计算机工程与应用, 2013, 49(14): 117-120.
[13]	黄浩生1，2，王云鹏1. 视觉无损的SVG空间矢量数据压缩算法[J]. 计算机工程与应用, 2013, 49(12): 8-10.
[14]	顾洪1，李昀英2. NC格式气象数据无损压缩研究[J]. 计算机工程与应用, 2012, 48(9): 90-91.
[15]	任凤，曹敦，傅明. 一种基于实时语义维层次链的OLAP查询算法[J]. 计算机工程与应用, 2012, 48(4): 149-151.

StreamQCTree：一种流数据方压缩结构

StreamQCTree：efficient compression structure for streamcube

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics