基于Spark+YARN的空气污染预报云平台设计

doi:10.3778/j.issn.1002-8331.1609-0152

计算机工程与应用 ›› 2017, Vol. 53 ›› Issue (19): 98-101.DOI: 10.3778/j.issn.1002-8331.1609-0152

基于Spark+YARN的空气污染预报云平台设计

丁凡1，马敏劲2，丁峰3，曹二山1

1.兰州理工大学计算机与通信学院，兰州 730050
2.兰州大学大气科学学院，兰州 730000
3.兰州理工大学设计艺术学院，兰州 730050

出版日期:2017-10-01 发布日期:2017-10-13

Design of air pollution forecast cloud based on Spark+YARN

DING Fan1, MA Minjin2, DING Feng3, CAO Ershan1

1. College of Computer and Communication Engineering, Lanzhou University of Technology, Lanzhou 730050, china
2. College of Atmospheric Sciences, Lanzhou University, Lanzhou 730000, china
3. College of Design Art, Lanzhou University of Technology, Lanzhou 730050, china

Online:2017-10-01 Published:2017-10-13

摘要/Abstract

摘要： 近年来我国空气污染导致的雾霾天气频繁发生，空气污染已经成为一个亟待解决的重要问题，其数值预报推广应用是一个难题，主要表现在数值预报系统的运行过程中计算量大，数据量大，在传统高性能计算集群中进行空气污染预报存在资源有限、复杂的并行化操作、批处理作业等待耗时等问题，尤其对于资源缺乏的研究团队，还存在基础设施昂贵而无法负担的问题。因此，如何利用有限的资源，为大气科学家提供一种基于云计算模式的高性能计算环境，提供可扩展、快速、廉价和动态可分配的计算和存储资源，是亟待解决的关键问题。研究一种基于Spark+YARN的空气污染数值预报的云平台，针对空气污染数值预报特点，为大气科学家提供一种空气污染数值预报大数据解决方案。

关键词: Spark+YARN平台, 云计算, 空气污染预报

Abstract: In China, air pollution is an important environment problem, in which numerical prediction is difficult to apply due to large amount of calculation and data in the numerical forecast system. There are some shortcomings in traditional way, such as limited resources, difficulty of parallel operations and time consuming in waiting of batch tasks. Especially, some research teams cannot afford the high cost in investment to perform air pollution numerical forecast. Therefore, it is valuable to research a kind of High Performance Computing（HPC） cloud environment and to provide atmospheric scientists with scalable, instant, cheap and dynamic assignable computing and storing resources. This paper establishes a big data solution based on Spark+YARN aiming at numerical prediction.

Key words: Spark+YARN, cloud-computing, air pollution forecast

丁凡1，马敏劲2，丁峰3，曹二山1. 基于Spark+YARN的空气污染预报云平台设计[J]. 计算机工程与应用, 2017, 53(19): 98-101.

DING Fan1, MA Minjin2, DING Feng3, CAO Ershan1. Design of air pollution forecast cloud based on Spark+YARN[J]. Computer Engineering and Applications, 2017, 53(19): 98-101.

[1]	王凤琴，柯亨进. 卷积神经网络及其分析在抑郁症判别中的应用[J]. 计算机工程与应用, 2021, 57(5): 245-250.
[2]	翁晓泳. 基于区块链的云计算数据共享系统研究[J]. 计算机工程与应用, 2021, 57(3): 120-124.
[3]	田倬璟，黄震春，张益农. 云计算环境任务调度方法研究综述[J]. 计算机工程与应用, 2021, 57(2): 1-11.
[4]	胡恒，金凤林，郎思琪. 移动边缘计算环境中的计算卸载技术研究综述[J]. 计算机工程与应用, 2021, 57(14): 60-74.
[5]	余波，台宪青，马治杰. 云计算环境下基于属性和信任的RBAC模型研究[J]. 计算机工程与应用, 2020, 56(9): 84-92.
[6]	仝乐，郝蓉，于佳. 单服务器上的双线性配对安全外包方案[J]. 计算机工程与应用, 2020, 56(9): 131-135.
[7]	姜娇，蔡林沁，韦鹏程，李莉. 支持可验证的密文模糊关键字检索方案[J]. 计算机工程与应用, 2020, 56(7): 74-80.
[8]	王杰，陈志刚，刘加玲，程宏兵. 基于聚类的云隐私行为挖掘技术[J]. 计算机工程与应用, 2020, 56(5): 80-84.
[9]	柯昌博，吴嘉余，曹彦. 面向云计算应用层演化的隐私保护方法研究[J]. 计算机工程与应用, 2020, 56(11): 60-66.
[10]	陈享，何亨，李鹏，金瑜，聂雷. 云环境中基于目标检测的密文图像检索方案[J]. 计算机工程与应用, 2020, 56(11): 75-82.
[11]	周亮，应欢，戴波，邱意民. 安全高效的生物识别外包计算方案研究[J]. 计算机工程与应用, 2020, 56(1): 127-135.
[12]	吴波，许道强，邹云峰，王甜甜，李鑫. 阶段感知的跨域数据分析作业保障机制[J]. 计算机工程与应用, 2019, 55(23): 78-85.
[13]	王德政1，张益农1，杨帆2. 基于MapReduce的并行PLS过程监控算法实现[J]. 计算机工程与应用, 2018, 54(24): 61-65.
[14]	刘俊. 基于犹豫模糊群决策模型的云计算服务商选择[J]. 计算机工程与应用, 2018, 54(23): 109-114.
[15]	王占君1，马海英2，3，王金华1. 移动云计算中基于身份的轻量级加密方案[J]. 计算机工程与应用, 2018, 54(19): 72-76.

基于Spark+YARN的空气污染预报云平台设计

Design of air pollution forecast cloud based on Spark+YARN

PDF

可视化

摘要/Abstract

引用本文

使用本文

参考文献

相关文章 15

编辑推荐

Metrics