基于LSTM的飞行数据处理系统负载优化与推广

论文价格:150元/篇 论文用途:硕士毕业论文 Master Thesis 编辑:硕博论文网 点击次数:
论文字数:37588 论文编号:sb2022010515161942326 日期:2022-01-18 来源:硕博论文网
本文是一篇计算机论文,本文的主要工作如下: (1)针对空管数据情报处理中高可用、高性能集群的负载均衡问题,提出了一种基于长短期记忆网络的动态负载均衡方案,该方案借助 LSTM 算法对服务器请求连接数进行预测,并结合服务器的实时性能指标以及服务器参数信息进行负载权值计算。(2)对性能指标间的权系数关系采用最优组合赋权法确定。通过实验确定了实时负载收集周期,并采用 consul+nginx-upsync-module 的方式让负载均衡器实现动态更新路由。

第 1 章  绪论

1.1  研究工作的背景与意义
1.1.1 研究背景
近几年我国全年旅客吞吐量如图 1.1 所示,我国对于航空飞行的需求急剧扩大,高速发展已经转变了现代人们的生活习惯,在航空飞行器的种类及其数量都在激增的条件下,导致了航空数据处理工作日益增加,因为空中交通事务具有重要的数据安全性和信息可靠性的要求,但是如今高并发和多访问方式的数据请求和处理不可避免,这些都成为了空中交通事务的新挑战。空中交通数据呈现规模大、种类多、更新频率快、非结构化等特征,空中交通管制每年至少产生 PB 以上的数据量[1]。这些数据具有海量性、实时性、多源性等特点。为了应对这些情况,我国空域结构和空管系统进行了多次调整和升级,急需实时性、低延迟的空中交通管制系统。
计算机论文怎么写
计算机论文怎么写
飞行数据处理系统是作为整个空管系统的核心,主要负责飞行计划数据以及雷达数据之间的处理、预测、冲突检测以及关联等多种功能。此系统涉及数据量大、时效性高等特点,飞行数据处理系统的性能好坏直接影响到空管系统的时效性、稳定性。飞行数据处理系统是空管系统的性能瓶颈所在。该系统不但会即时收集有关飞行活动计划的相关数据、还会接入二次雷达、气象数据以及适应性数据等,通过各个模块的配合计算将结果传给空管自动化系统的其他模型,并配合管制员进行飞行协调操作,因此飞行数据处理系统对于空中交通管制系统的安全性和实时性有着十分重要的意义。因此以往的单机处理模型已经难以在如今大数据量的环境下使用。集群技术正是用来解决海量数据计算与存储的关键  ,集群技术因其高可用、易扩展等性已经在业界广泛使用。
.......................

1.2  国内外研究历史与现状
1.2.1 基于传统方法的负载均衡研究
在集群环境中负载均衡起着分配服务器请求连接的任务。采用合理的负载均衡策略将负载分配到后端服务器上执行,是解决高性能、单点宕机和增强灵活性的有效解决方案。负载均衡可以实现集群资源最优化使用,减少响应时间和提高吞吐量。多年来研究者们不断地对负载均衡技术进行优化设计,提出了很多优秀的负载均衡优化方案。
负载均衡的实现需要软硬件配合,利用多台后端节点提供单一服务是集群的一种重要应用。通过软件实现的负载均衡虽然拥有更好的灵活性和扩展性,但一定程度上需要依赖于均衡算法的选择。负载均衡算法也是多种多样的。负载均衡算法的研究也呈现多阶段。负载均衡算法的研究也呈现多阶段性。负载均衡策略的研究已经经过了从初始化时就固定分配权重的静态算法到动态负载算法再到自适应算法转变的过程[5-7]。目前基于负载均衡策略的研究主要是基于动态负载均衡算法、机器学习算法和人工智能算法等对负载均衡算法进行优化[8]。
(1)有些学者对动态负载均衡算法进行研究。动态负载均衡算法[9-10]对于较为复杂的通信环境,其适应性能力更强,效果也更好。实时性和动态更新是动态负载均衡算法的特点[11],运用数学模型比如多元回归分析、层次分析法等负载信息进行计算分析,确定各项负载指标对服务器性能影响的重要程度并计算出节点的去实时权重,设置边界值作为判断集群当前是否均衡的条件,实现根据服务器实时状态调整对应权重变化。
(2)此外也有学者引用智能算法来构建负载均衡模型,高田[12]等提出针对集群负载均衡的改进遗传算法。除了以上常见负载均衡优化策略之外。张娜,董亮亮[13]等人提出了基于改进布谷鸟搜索的 Web 集群自适应负载均衡策略,使用布谷鸟搜索算法寻找最优个体,结合目标函数进行评估。屈慧娇,郭银章[14]等人提出了基于改进粒子群算法的负载均衡的方案,实现了目标问题的优化。
............................

第 2 章  系统知识及理论

2.1  服务器集群
2.1.1  服务器集群概念
由于网络技术爆发式发展,传统互联网、移动互联网等应用技术对后端节点的访问量暴增,单机负载压力过大。通过多台机器构成一个整体对外提供服务是集群的基本任务[26]。从用户角度看,使用集群提供的接口像使用了内存、CPU 等资源非常大的计算机,而从集群内部分析,集群的节点经过网络物理链接,再通过软件统一管理,保障一致性、可用性、分区容错性等目的。在集群系统中,即使某一台机器出现问题,也不会对集群中其他服务器节点造成影响,由此集群可以对外提供高可靠,易扩展的服务[27]。 常用的服务器集群方法有:
(1)主备服务器集群[28],主备服务器集群是集群中较为常用的一种方式,在该集群中用户直接访问主服务器,备机通过 keepalived 定时向主机发送心跳包,如果主机宕机,则会接管主机的处理任务,减少因为服务器宕机造成的损失,当主机再次上线后,备机会让出位置,主机再次对外提供连续服务。
(2)由两台或两台以上组成的多服务器集群,当用户量较高时单机系统很容易出现故障,应用多机部署的模型,采用负载均衡软件将请求分散到不同集群节点上降低单机压力,达到高可用的目的,而且集群里每一个服务节点能够经过中间件实时共享数据信息,可以降低响应时间与提高吞吐率。
.....................

2.2 Nginx 及其第三方组件
Nginx 是一款高性能反向代理服务器和负载均衡器[31]。Nginx 因其稳定的性能、丰富的功能实现、系统资源的低消耗而在全球范围内被广泛使用,Nginx 现在几乎是众多大型网站的比用技术[32]。
2.2.1 Nginx 的反向代理功能
Nginx 服务器常被用做反向代理服务器[33-34]。反向代理则是指 Nginx 作为转发窗口,接收客户端同一访问,然后将请求通过某种方式转发至内部网络,将处理结果由反向代理最终发送给客户端,这样做能隐藏真实服务器,提供了对内外的统一地址减少了冗余信息,提升了效率[35]。
Nginx 反向代理能够使性能超过单机性能限制,并且其还拥有接收、处理以及转发数据的能力[36]。当用户与 Nginx 通信过程中,请求达到 Nginx 服务器时,反向代理服务器并不会马上与服务器连接连接执行请求转发,通常将请求存储在特定的地方,当前面的请求处理完之后,再与服务器节点建立连接发送请求,这种工作方式能够减轻服务器节点的负载量。一般而言,Nginx 与服务器集群在一个内网之内,而用户通常是通过外网进行网络通信,所以对于用户和 Nginx 之间应该开启 Keep-Alive 功能,Nginx 服务器集群之间的尽量可以关闭 Keep-Alive,这样可以尽可能节省资源,进一步减轻服务器负载,由于 Nginx 和用户是长连接,所以 Nginx 和用户传递信息的速度十分迅速,所以反向代理也能很好的减少用户响应延迟[37]。
........................

第 3 章  融合 LSTM 与最优组合赋权法的动态负载均衡算法 ......................................... 13
3.1  负载均衡决策算法设计 ...................................... 13
3.1.1  服务器节点权重影响因子的设计 ...................... 13
3.1.2  负载均衡决策评价函数 ............................... 15
第 4 章  飞行数据处理系统架构的设计与实现 .................................. 29
4.1  系统概述 ............................................... 29
4.2  系统方案设计 .................................... 29
第 5 章  测试与分析 ............................ 45
5.1  性能测试环境搭建 ................................. 45
5.1.1  性能测试指标 .................................. 45
5.1.2  性能测试工具 .................................. 46

第 5 章  测试与分析

5.1  性能测试环境搭建
5.1.1 性能测试指标
性能指标繁多,选择合适的性能指标至关重要。本文选取了两组性能测试指标:1. 响应时间和并发连接数、2.  系统吞吐量和并发连接数。首先模拟客户端向集群中的负载均衡器发送大量的请求,再由负载均衡器转发到集群中的服务器节点上,当 Nginx 负载均衡器收到处理请求后,会采用本文提出的自适应动态负载均衡策略。本文对比算法采用内置加权轮询算法、IP-HASH 算法。因为这两个算法是实际生成中使用较多的算法。通过统计三种负载策略在不同并发量下集群的相应时间与吞吐量,处理并发处理能力越好的算法,在相同的并发连接数的情况下,响应时间越低、吞吐量越高。以此验证本文提出的自适应动态负载均衡算法的可行性。
5.1.2 性能测试工具
JMeter 是一款开源免费性能测试工具,现在是应用最广的测试工具之一,包括应用层功能测试、TCP/IP 层数据包测试、测试静态以及动态资源等等。针对软件性能测试而言,JMeter 可以对服务器集群进行高负载的并发访问模拟,当然也可以模拟不同的请求、压力类别。此外回归和稳定性测试也是 JMeter 也能实现,允许正则表达式的方式创建断言进行请求返回时的过滤,其输出结果的多样性也方便工程人员对其进行分析。
计算机论文参考
计算机论文参考
.........................

第 6 章  总结与展望

6.1  本文总结
随着航空事业的迅猛迅速,高并发访问成为日常,对服务器有了更高的要求,提升服务器硬件性能是一个方法,但是从节约成本的角度来讲更应该从软件层面优化。负载均衡做为集群访问的门户,起着对集群节点负载压力分配的主要作用,为了充分利用集群资源,需要设计一个均摊性好、能够根据实时情况进行动态调节权值的负载均衡算法。
本课题来源于开发项目“大兴机场空管自动化系统”,此项目中飞行数据处理系统的性能是整个系统的瓶颈所在。所以本文以飞行数据处理系统的优化为研究对象。并针对传统 Nginx 的负载均衡算法的缺陷提出了一种基于 Nginx 的动态自适应负载均衡策略。本文的主要工作如下:
(1)针对空管数据情报处理中高可用、高性能集群的负载均衡问题,提出了一种基于长短期记忆网络的动态负载均衡方案,该方案借助 LSTM 算法对服务器请求连接数进行预测,并结合服务器的实时性能指标以及服务器参数信息进行负载权值计算。
(2)对性能指标间的权系数关系采用最优组合赋权法确定。通过实验确定了实时负载收集周期,并采用 consul+nginx-upsync-module 的方式让负载均衡器实现动态更新路由。
(3)针对飞行数据处理系统进行了设计与实现。并对动态电报处理功能、SS 代码管理功能、轨迹估算功能、雷达航迹与计划关联功能以及一致性监视告警等功能进行了详细的设计与概述。 
参考文献(略)

如果您有论文相关需求,可以通过下面的方式联系我们
点击联系客服
QQ 1429724474 电话 18964107217