本文是一篇软件工程论文，本文通过分析各生理电信号对脑力负荷决策的有效性，进一步提出了深度学习下多模态数据融合的操作员脑力负荷决策研究模型，实现更高精度的脑力负荷决策分类。
1绪论
1.1研究背景及意义
1.1.1研究背景
在人类社会的发展过程中，人机交互中“人-机-环境”间的相互制约与发展促进了工业进程的进展。随着科学技术的迅速发展，现在的作业任务对信息的依赖程度较强，并且伴随着多任务的特点等。操作员在进行相关的工作当中需要获取到较多的仪表数据信息，并与所在工作环境相结合进行综合分析，从而快速且准确做出相应的决策。在相关的操作过程中需要高度集中注意力，可能会产生较大的脑力劳动[1]，不仅会影响工作效率，更有甚者将会造成严重事故。由此可见，在人机交互中，脑力劳动逐步占据了优势。脑力劳动的强度可以用脑力负荷进行衡量，脑力负荷主要产生于操作员使用有限的脑力资源进行任务处理的工程中。适当的脑力负荷有助于操作员对良好任务绩效的保持，而过高或过低的脑力负荷则将会对操作中的绩效造成不利影响。
在快速发展的科技水平背景下，现如今人们的日常工作多依赖于脑力活动，易使人们的精神状态长时间处于紧绷的环境中。长期的高脑力负荷状态及在现代电子产品的诱惑而缺乏锻炼使得人体极易处于亚健康状态，对于外部环境的感知能力下降、思考和执行力也相应降低，进而影响到作业质量及操作设备安全。例如，据航空事故研究报告可知，有60%~90%的飞行事故发生于飞行员脑力负荷强度过高，应激任务水平大的飞行中[2]，在飞行任务中需要处理的信息变得越来越大且更加复杂，包含了导航信息、气象情况、飞行器状况以及目标识别等多个方面，使得飞行员需要同时处理多方面的数据，增加了飞行员在工作任务中的脑力强度。在防空导弹、医疗抢救以及高效驾驶等复杂的人机交互操作中，伴随着高负荷的人机交互任务。如在导弹武器行动中，需要实现精确而快捷的对战斗目标航向、速度等空间情报的分析，同时快速实现对战斗目标威胁的评估用以实施目标追踪和攻击等相关复杂动作。由于该过程具有较大强度的人机交互作业任务，高强度的作业极易导致脑力操作者陷入超负荷状态，因而降低作业过程中的安全性和可靠性，极易引发安全事故。因此，脑力负荷的研究对于人机交互中的安全性及可靠性显得尤为重要。
.......................
1.2脑力负荷概述
伴随科学技术的快速发展，大部分人类活动已由体力劳动向脑力劳动转变。在航天驾驶、医疗手术及重大机械操作等复杂的作业环境，人类大脑均需投入较大的认知资源。研究表明，脑力负荷的程度对操作员的作业效率具有较大的影响。人体大脑结构复杂且操作员易受外部环境等因素的干扰，因此对操作员的脑力负荷检测研究极为重要。
1.2.1脑力负荷的定义
脑力负荷(mental workload，MWL)又被称作心理负荷、精神负荷，最早应用于人类工效学领域，主要是用以评价估计任务需求和人类能力需求间存在的差异[5]。脑力负荷的内涵较为复杂且抽象，学术界对脑力负荷定义没有较为一致的说法。目前比较具有说服力的有以下几种：
19世纪80年代北大西洋公约组织在脑力负荷学术专题讨论会议上将脑力负荷总结为：脑力负荷是一个多维概念，它涉及到工作要求(task demand)，时间压力(time pressure)，操作者的能力(operator’capacity)和努力程度(effect)，行为表现(performance)和其他许多因素[6]；卫宗敏等人[7]从工作要求的角度出发，将其定义为：操作员在工作时对某项作业任务的处理速度，即操作中的判定结论速度及其对应的处理难度；Buchner等人[8]从资源占用的角度出发，将其定义为：操作员在作业任务过程中所占用自身注意力资源的程度大小，即作业任务中，操作员脑力负荷的占用程度大小与操作员所剩的作业操作表现为负相关。
Melnicuk等人[9]从工作时间占有率和信息处理情况两方面对脑负荷力作出了界定：时间占有率越低，表示操作过程中所耗费的脑负荷力程度越低，反之则越高；信息处理强度则表示在单个作业任务时间内工作人员所需要进行信息处理的总量或操作过程中信息的繁忙程度，即执行脑力工作实际有多忙。信息处理强度越高，操作员脑力负荷程度越强，反之则越低。
................................
2生理信号与数据融合理论基础
2.1脑电信号基础知识
2.1.1脑电信号的产生机制
根据医学研究可知，中枢神经中最重要的器官是大脑的组织结构，复杂的大脑对人类生命活动极为重要。脑电信号是大脑中神经元活动的产物，其产生机制涉及到神经元的电位变化及各个神经元之间的相互作用[56]。神经元结构图如图2.1所示。
软件工程论文怎么写
神经元由细胞体和突起两部分组成。细胞体能够实现细胞内的信息整合并进行输出；突起包含轴突与树突，轴突能够进行兴奋冲动的传递，树突进行信息的接收。各个神经元之间通过突触连接，通过突触前神经元释放神经递质进行信号传递，进而影响突触后神经元的电活动。脑电信号则是由大量神经元活动的电位变化叠加而组成，而神经元网络中的同步和异步活动都将会影响到脑电信号的幅度与频率。不同脑区间的神经元活动会产生不同频率、时空特征的脑电信号，如果出现了脑区特异性，可根据脑电信号进行不同认知功能的研究。
..................................
2.2心电信号基础知识
2.2.1心电信号的产生机制
心电信号(Electrocardiogram，ECG)是一种记录心脏电活动的生理信号，主要反映了心脏在心跳活动过程中的电位变化情况。心电信号是心肌细胞兴奋-传导-收缩的过程中产生的微小电位变化，其波形图如图2.2所示。
软件工程论文怎么写
心电图中包括了P波、QRS波群及T波。心脏中的传导系统将电信号从心脏的起始点（即窦房结）传递到心脏的其他各个地方。兴奋首先从窦房结传递到心房，进而引起心房收缩，产生P波；然后通过房室传递进入到心室的各个部位，由此产生QRS波群；最后心室复极产生T波。
2.2.2心电信号的特点
心脏的节律性活动由心电信号的周期性变化来反映，从一个心搏开始到下一个心搏开始的心跳活动过程代表了心电信号的周期性变化。心电信号是由一系列的波形变化而组成的，心电图的波形代表着心脏电信号活动的不同阶段[64]。
在心电波形图中，P波用来表示心房的兴奋和收缩过程；QRS波群用来表示心室的兴奋及收缩过程；T波用来表示心室的复极过程；PR间期、QT间期和ST间期是心电信号在不同波形之间的时间间隔提供的心脏信息。异常的心电波形和间期能够提示心动过速、心房颤动以及心动过缓等心律失常情况。对于心电信号的波形、时间间隔及节律特性的分析研究可应用于有关于心脏健康及诊断的医学研究等方面。
...........................
3操作员脑力负荷实验及数据采集...............................23
3.1操作员脑力负荷状态分析...........................23
3.2数据采集设备.......................................24
4基于生理信号的脑力负荷分类研究....................................33
4.1脑力负荷分类模型组件设计......................................33
4.1.1支持向量机分类方法组件设计..........................................33
4.1.2朴素贝叶斯分类方法组件设计........................................34
5多模态数据融合的脑力负荷决策研究..................................50
5.1 ELSNet决策模型..............................................50
5.1.1模型架构.........................................50
5.1.2类EEGNet模块...............................51
5多模态数据融合的脑力负荷决策研究
5.1 ELSNet决策模型
卷积神经网络能够较快的获取生理电信号的信息，而EEGNet则是在卷积神经网络的技术上搭建而成的且具有深度卷积可分离的特点，能够较大程度的保留原有数据的信息特征的同时对大量生理信号进行降维操作，从而降低了后续模型训练的难度。而在生理信号的提取中，LSTM则能够获取到连续长时的生理特征，能够提高脑力负荷决策的全局性。最后对提取的多生理特征进行特征层融合，得到脑力负荷分类结果。
5.1.1模型架构
本节脑力负荷决策模型借鉴了EEGNet网络模型的思路，在此基础上加入了LSTM进行特征提取，最后进行决策分析，搭建了以类EEGNet与长短期记忆神经网络为基础的ELSNet模型，如图5.1所示。
软件工程论文参考
...........................
6结论与展望
6.1研究总结
在进行脑力负荷研究中，对于装配作业、道路运输等操作类任务已经普遍使用脑电信号进行研究分析，并且在较多领域如计算机科学和心理学进行了广泛的应用。但对于多生理信息的融合研究分析，目前相对较少。对于如何从多面出发，利用全局性的信息进行脑力负荷决策研究，以提高操作员脑力负荷决策精度是研究的重点问题。本文从利用全局性数据的角度出发，基于实验室的硬件平台及数据采集设备搭建了模拟飞行实验平台，并进行了模拟飞行实验设计。通过同步测量系统采集到了模拟飞行环境下的操作员多生理电信号数据，对采集到的数据进行了多特征融合的机器学习脑力负荷决策研究；通过分析各生理电信号对脑力负荷决策的有效性，进一步提出了深度学习下多模态数据融合的操作员脑力负荷决策研究模型，实现更高精度的脑力负荷决策分类。
1)主要研究内容
a、多生理电信号的数据预处理及特征提取。在多生理电信号预处理中，对脑电信号进行了生理伪迹滤波及工频滤波处理；使用巴特沃斯低通滤波去除心电信号伪迹干扰；使用高斯滤波进行肌电信号的预处理。对于处理后的脑电信号进行了相关性分析，并提取了脑电信号不同波段的节律特征；分析了心电信号各波段变化内容，使用均值及均方根提取心电信号的时域特征；使用积分肌电值和均方根值提取肌电信号的时域特征，并使用平均功率频率和中位频率提取肌电信号的频域特征。
b、基于生理信号的脑力负荷分类研究。建立了支持向量机、朴素贝叶斯及K-近邻脑力负荷分类模型，分别对脑电、肌电及心电信号进行脑力负荷分类研究，使用五折交叉验证及AUC进行指标评价。通过分析各生理电信号的决策效果，发现脑电信号对于脑力负荷决策的影响相对肌电及心电较大，且心电及肌电对脑力负荷决策有一定的影响，对下一步基于深度学习的多模态数据融合研究提供了思路。
参考文献（略）