遥感数据集群处理作业调度管理系统研究

计算机工程与应用 ›› 2012, Vol. 48 ›› Issue (25): 77-82.

遥感数据集群处理作业调度管理系统研究

史园莉，申文明，熊文成，付卓，肖如林

环境保护部卫星环境应用中心，北京 100094

出版日期:2012-09-01 发布日期:2012-08-30

Research on job schedule and management system for remote sensing data processing with cluster

SHI Yuanli, SHEN Wenming, XIONG Wencheng, FU Zhuo, XIAO Rulin

Satellite Environment Center, Ministry of Environment Protection, Beijing 100094, China

Online:2012-09-01 Published:2012-08-30

摘要/Abstract

摘要： 高性能遥感数据集群处理技术提高了遥感数据处理的速度和精度。作业调度管理是集群处理系统的核心组成部分，有助于提高系统的吞吐率和资源使用率。常用调度管理系统通用性强，但针对性差，自动化程度低，资源使用存在盲目性。针对遥感数据集群处理，基于集群作业调度管理系统Open PBS，提出一种最优资源自动分配的“双级调度策略”；应用分层架构和面向服务的软件开发思想，采用ICE中间件的网络通信技术，使用XML格式作为数据交换模式，研究并实现C/S（Client/Server）架构的灵活、友好、高效的遥感数据集群处理作业调度管理系统。

关键词: 双级调度策略, 最优资源分配, 遥感数据处理, 集群

Abstract: The application of high performance computing cluster technology to remote sensing data processing is one solution to meet the requirements of real-or near-real-time and high-accuracy processing capabilities. Job schedule and management is an important component of cluster which is designed to improve the throughput rate and resource utilization rate of system. Low degree of automation, blindness of resource selection and short of feasibility is unavoidable in common schedule system. Aiming at remote sensing data cluster processing, based on open sources Portable Batch System（PBS）, it develops a twin-stage scheduling strategy for resources assigned optimally and automatically. With the layered structure and service-oriented programming method, the job scheduling and management system for cluster-based remote sensing data processing system is C/S pattern which is communicated with ICE（Internet Communications Engine） middleware by XML（Extensible Markup Language） format data transmitting.

Key words: twin-stage scheduling strategy, optimal resources assignment, data processing of remote sensing, cluster

史园莉，申文明，熊文成，付卓，肖如林. 遥感数据集群处理作业调度管理系统研究[J]. 计算机工程与应用, 2012, 48(25): 77-82.

SHI Yuanli, SHEN Wenming, XIONG Wencheng, FU Zhuo, XIAO Rulin. Research on job schedule and management system for remote sensing data processing with cluster[J]. Computer Engineering and Applications, 2012, 48(25): 77-82.

[1]	张俊，廖雪花，余旭玲，雷蒙. 关系型数据库内存化存储模型研究[J]. 计算机工程与应用, 2021, 57(19): 123-128.
[2]	金之雁，杨磊，林隽民，王哲. 广义共轭余差法的通信避免算法[J]. 计算机工程与应用, 2020, 56(3): 74-79.
[3]	张新伟，李康，郁龚健，刘家航，李佩琦，柴志雷. 基于ZYNQ集群的神经形态计算加速研究与实现[J]. 计算机工程与应用, 2020, 56(21): 65-71.
[4]	刘树仁，冯超敏，蔡长宁，樊莉. 基于分级存储的石油勘探地震处理应用研究[J]. 计算机工程与应用, 2019, 55(13): 266-270.
[5]	宋峣1，2，3，孙小涓1，2，3，胡玉新1，2，3，雷斌1，2，3，卢晓军4. 基于流式计算的遥感卫星数据快视处理方法[J]. 计算机工程与应用, 2019, 55(10): 77-82.
[6]	熊安萍1，2，夏玉冲1，杨方方1. 一种Spark集群下的shuffle优化机制[J]. 计算机工程与应用, 2018, 54(4): 72-76.
[7]	王方1，王晓原1，2，刘振雪1，王建强2，孔栋1，王云云1. 基于完全信息多人动态博弈的车道选择模型[J]. 计算机工程与应用, 2018, 54(23): 238-245.
[8]	申泽星，彭云建，岳喜顺. 集群服务器在混合请求下的负载均衡优化算法[J]. 计算机工程与应用, 2018, 54(18): 99-104.
[9]	彭丽苹，吕晓丹，蒋朝惠. 基于Ceph集群的能耗管理策略研究[J]. 计算机工程与应用, 2018, 54(10): 66-72.
[10]	熊安萍1，2，朱恒伟1，罗宇豪1. Storm流式计算框架反压机制研究[J]. 计算机工程与应用, 2018, 54(1): 102-106.
[11]	程振京1，2，李海波1，黄秋兰1，程耀东1，陈刚1. 高能物理云平台中的弹性计算资源管理机制[J]. 计算机工程与应用, 2017, 53(8): 8-14.
[12]	曹芳波，吕娜，陈柯帆，张步硕，刘创. 航空集群网络可靠性估计路由选择策略[J]. 计算机工程与应用, 2017, 53(24): 129-135.
[13]	刘烁阳，周丽娟，任仲山，张树东. 眼科医疗影像文件存取下的HDFS负载均衡[J]. 计算机工程与应用, 2017, 53(2): 253-259.
[14]	刘斌1，何进荣1，耿耀君1，王最2. 并行机器学习算法基础体系前沿进展综述[J]. 计算机工程与应用, 2017, 53(11): 31-38.
[15]	刘迪1，2，朱立谷1，2，张雷1，2，冯东煜1，2. 基于强挂起弱预测机制的负载均衡模型研究[J]. 计算机工程与应用, 2017, 53(10): 90-95.