基于流式计算的遥感卫星数据快视处理方法

doi:10.3778/j.issn.1002-8331.1801-0342

计算机工程与应用 ›› 2019, Vol. 55 ›› Issue (10): 77-82.DOI: 10.3778/j.issn.1002-8331.1801-0342

基于流式计算的遥感卫星数据快视处理方法

宋峣1，2，3，孙小涓1，2，3，胡玉新1，2，3，雷斌1，2，3，卢晓军4

1.中国科学院大学，北京 100049
2.中国科学院电子学研究所，北京 100190
3.中国科学院空间信息与应用系统重点实验室，北京 100190
4.中国国际工程咨询公司，北京 100048

出版日期:2019-05-15 发布日期:2019-05-13

Quick-View Processing Method for Remote Sensing Data Based on Stream Computing

SONG Yao1，2，3, SUN Xiaojuan1，2，3, HU Yuxin1，2，3, LEI Bin1，2，3, LU Xiaojun4

1.University of Chinese Academy of Sciences, Beijing 100049, China
2.Institute of Electronics, Chinese Academy of Sciences, Beijing 100190, China
3.Key Laboratory of Technology in Geo-spatial Information Processing and Application System, Chinese Academy of Sciences, Beijing 100190, China
4.China International Engineering Consulting Corporation, Beijing 100048, China

Online:2019-05-15 Published:2019-05-13

摘要/Abstract

摘要： 随着高分辨率遥感卫星数据获取能力和地面数传接收能力的提高，现有遥感卫星快视处理系统的处理负载增大，实时性要求越来越难以满足。针对这些问题，采用流式计算思想提出了一种新的遥感卫星数据快视处理系统设计方法。在分析遥感卫星数据快视处理数据流特点的基础上，应用Storm框架对现有系统进行并行优化，设计遥感数据流处理任务拓扑结构，同时利用消息队列中间件Kafka改进处理单元间数据交换和数据缓存方式。实验表明，该系统在数据吞吐率和可靠性方面测试效果良好。

关键词: 流式计算, 数据流, Storm, 快视处理, 遥感数据处理

Abstract: With the improvement of data acquiring ability of high resolution remote sensing satellites and data receiving ability of ground receiving stations, the processing load of existing system grows increasingly heavier and the real-time processing demand becomes more difficult to meet. Focusing on these issues, this paper proposes a new system design method for quick-view processing of remote sensing satellite data by using the thought of stream computing. After analyzing the characteristics of quick-view processing data streams, this paper applies the Storm framework to the parallel optimization of the existing system, designs the topology of stream computing tasks for the remote sensing satellite data processing, and uses Kafka message oriented middleware to improve the mechanism of data exchanging and data buffering in processing units. In experiments the improved system shows good results in throughput and reliability.

Key words: stream computing, data stream, Storm, quick-view processing, remote sensing data processing

宋峣1，2，3，孙小涓1，2，3，胡玉新1，2，3，雷斌1，2，3，卢晓军4. 基于流式计算的遥感卫星数据快视处理方法[J]. 计算机工程与应用, 2019, 55(10): 77-82.

SONG Yao1，2，3, SUN Xiaojuan1，2，3, HU Yuxin1，2，3, LEI Bin1，2，3, LU Xiaojun4. Quick-View Processing Method for Remote Sensing Data Based on Stream Computing[J]. Computer Engineering and Applications, 2019, 55(10): 77-82.

[1]	王俊红，郭亚慧. 面向动态数据块的非平衡数据流分类算法[J]. 计算机工程与应用, 2021, 57(13): 124-129.
[2]	周玉，朱文豪，房倩，白磊. 基于聚类的离群点检测方法研究综述[J]. 计算机工程与应用, 2021, 57(12): 37-45.
[3]	徐清妍，何丽，朱泓西. 改进Hoeffding不等式的概念漂移检测方法[J]. 计算机工程与应用, 2020, 56(19): 55-61.
[4]	胡阳，胡学钢，李培培. 基于Spark的快速短文本数据流分类方法[J]. 计算机工程与应用, 2020, 56(14): 138-147.
[5]	杨航，朱永利. 基于Storm的局部放电信号集合经验模态分解[J]. 计算机工程与应用, 2020, 56(10): 261-267.
[6]	蒋溢1，2，罗宇豪1，朱恒伟1. Storm集群下一种基于Topology的任务调度策略[J]. 计算机工程与应用, 2018, 54(7): 84-88.
[7]	郑逢斌1，朱青1，2，臧文乾2. 一种XML驱动的遥感产品生产并发数据流模型[J]. 计算机工程与应用, 2018, 54(24): 266-270.
[8]	杨融泽，柳毅. 面向异常数据流的多分类器选择集成方法[J]. 计算机工程与应用, 2018, 54(2): 107-113.
[9]	魏子衿1，2，3，肖丽2，3. 改进顶点聚类方法的并行核外模型简化算法[J]. 计算机工程与应用, 2018, 54(13): 181-190.
[10]	熊安萍1，2，朱恒伟1，罗宇豪1. Storm流式计算框架反压机制研究[J]. 计算机工程与应用, 2018, 54(1): 102-106.
[11]	孔祥翾1，廖湖声2，王亦雄1，高红雨1，苏航1. 分布式复杂事件流处理平台的研究[J]. 计算机工程与应用, 2017, 53(8): 68-75.
[12]	刘骁，刘辉平，金澈清. 面向不确定数据流的近似ER-Topk查询处理[J]. 计算机工程与应用, 2017, 53(4): 98-105.
[13]	韩崇1，袁颖珊2，梅焘2，耿慧玲2. 基于K-means的数据流离群点检测算法[J]. 计算机工程与应用, 2017, 53(3): 58-63.
[14]	杨小川，姜军，马晓东，漆锋滨. 基于GCC关键变量数据流分析算法的程序切片技术[J]. 计算机工程与应用, 2017, 53(24): 40-47.
[15]	史荧中1，2，曹建峰2，邓赵红1，蒋亦樟1. 面向数据流分类的柔性漂移支持向量机[J]. 计算机工程与应用, 2017, 53(23): 118-122.

基于流式计算的遥感卫星数据快视处理方法

Quick-View Processing Method for Remote Sensing Data Based on Stream Computing

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics