基于Spark的电力调度数据整合模型

doi:10.3778/j.issn.1002-8331.1609-0098

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (19): 65-70.DOI: 10.3778/j.issn.1002-8331.1609-0098

基于Spark的电力调度数据整合模型

曲朝阳1，陈贺新1，胡可为2，刘耀伟3，独健鸿4

1.东北电力大学信息工程学院，吉林吉林 132012
2.国网吉林省电力有限公司调控中心，长春 130000
3.国网吉林省电力有限公司吉林供电公司，吉林吉林 132000
4.吉林市丰满发电厂，吉林吉林 132113

出版日期:2017-10-01 发布日期:2017-10-13

Power dispatch data integration model based on Spark

QU Zhaoyang1, CHEN Hexin1, HU Kewei2, LIU Yaowei3, DU Jianhong4

1.College of Information Engineering, Northeast Dianli University, Jilin, Jilin 132012, China
2.Control Center, State Grid Jilin Electric Power Co. , Ltd. , Changchun 130000, China
3.Jilin Power Supply Company, State Grid Jilin Electric Power Co. , Ltd. , Jilin, Jinlin 132000, China
4.Fengman Power Plant in Jilin City, Jilin, Jinlin 132113, China

Online:2017-10-01 Published:2017-10-13

摘要/Abstract

摘要： 随着大数据理念在电力行业的应用，构建电力调度数据仓库是支撑电力调度中心统一数据平台的基础，针对电力调度中心的数据仓库将多源数据整合时面临的重复冗余和不一致问题，提出一种基于Spark的电力调度数据整合模型。设计并行化正向最大匹配去冗算法，对多个系统内冗余数据进行过滤操作；给出面向关联度的数据一致性处理方法，依据特征向量的夹角余弦值判断数据间的联系，进而对不一致数据修复。通过对某电力调度中心的数据进行整合实验，验证了该数据整合模型的可行性。

关键词: 电力调度中心, 关联度, 特征向量, 数据整合, Spark平台

Abstract: With the concept of data applying in the electric power industry, the construction of electric power dispatching data warehouse is foundation to support the unified data platform in the power dispatching center, in view of the multi-source data integration in the power dispatching center data warehouse there are redundant and inconsistent problems. This paper puts forward a kind of power dispatch data integration model based on Spark. First of all, the design of parallel forward maximum matching to remove redundancy algorithm, it filters the multiple system redundant data; then it gives data consistency processing method of correlation degree-oriented. It judges link of data according to the angle value of the feature vector, and repairs the inconsistent data. Based on the data integration of electric power dispatching center, it verifies the practicability of the data integration model.

Key words: power dispatch center, correlation degree, feature vector, data integration, Spark platform

曲朝阳1，陈贺新1，胡可为2，刘耀伟3，独健鸿4. 基于Spark的电力调度数据整合模型[J]. 计算机工程与应用, 2017, 53(19): 65-70.

QU Zhaoyang1, CHEN Hexin1, HU Kewei2, LIU Yaowei3, DU Jianhong4. Power dispatch data integration model based on Spark[J]. Computer Engineering and Applications, 2017, 53(19): 65-70.

[1]	李俊丽. Spark平台下类别数据互信息计算的并行化[J]. 计算机工程与应用, 2021, 57(7): 95-100.
[2]	钟雅婷，林艳梅，陈定甲，彭昱忠，曾远鹏. 多组学数据整合分析和应用研究综述[J]. 计算机工程与应用, 2021, 57(23): 1-17.
[3]	杨舒，苏放. 基于微服务的分布式数据安全整合应用系统[J]. 计算机工程与应用, 2021, 57(18): 238-247.
[4]	车敏诗，聂春燕，杨承金，阮新磊，范如俊. 基于灰色关联法的生理信号与情绪关联度研究[J]. 计算机工程与应用, 2021, 57(11): 168-172.
[5]	包顺，徐鑫，肖箭，周礼刚. Pythagorean犹豫模糊灰色关联前景多属性决策方法[J]. 计算机工程与应用, 2020, 56(18): 119-123.
[6]	刘佳耀，王佳斌. Slope One算法的改进及其在大数据平台的实现[J]. 计算机工程与应用, 2020, 56(1): 83-91.
[7]	朱洪峰，熊伟，崔亚奇，吕亚飞. 新的自适应转弯模型的IMM算法研究[J]. 计算机工程与应用, 2019, 55(17): 252-258.
[8]	李格非1，马蔚吟2，李力3. Spark平台下的凸包问题研究[J]. 计算机工程与应用, 2018, 54(22): 67-73.
[9]	朱大勇1，2，郭星1，2，吴建国1，2. 基于kinect三维骨骼节点的动作识别方法[J]. 计算机工程与应用, 2018, 54(20): 152-158.
[10]	刘学博，李灯熬，赵菊敏，廖述剑. 基于变步长支持向量机的J波自动检测方法[J]. 计算机工程与应用, 2017, 53(23): 203-207.
[11]	林卉1，于瑞鹏2，王李娟1，邵聪颖1. 基于特征向量的遥感影像自动分类研究[J]. 计算机工程与应用, 2017, 53(16): 177-181.
[12]	缪雪峰1，陈群辉1，胡罗凯2，刘进1. Spark平台下基于上下文信息的影片混合推荐[J]. 计算机工程与应用, 2017, 53(10): 79-84.
[13]	朱银娟，李海波. 云制造环境下基于关联度的资源组合方法[J]. 计算机工程与应用, 2016, 52(5): 255-261.
[14]	李松，李妍，王柳. 改进IOWHA算子组合预测模型[J]. 计算机工程与应用, 2015, 51(3): 260-264.
[15]	陈友军，何洪英. 一种改进的灰色关联度算法及其推广应用[J]. 计算机工程与应用, 2015, 51(22): 130-133.

基于Spark的电力调度数据整合模型

Power dispatch data integration model based on Spark

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics