1绪论
1.1课题研究背景、目的及意义
随着电子信息技术的发展，系统芯片信息处理能力的不断增强，电子测试设备的采样频率越来越高，测试精度也有了长足的进步，并广泛的应用到工业、农业、医疗、航空航天、武器系统测试等领域，发挥着不可或缺的作用。然而当测试设备在进行长时间的实时监测时，将会产生数百兆甚至数千兆的测试数据，这样大的测试数据通常称之为“海量数据”。
而对如此海量的测试数据，在对数据进行后期处理以及信号特征信息快速提取的过程中，将会遇到一系列的困难:第一，常用的处理方法(如傅里叶变换、相关分析等)因为数据量过大，系统运行缓慢，等待时间过长，处理效果低下，甚至无法完成对海量数据的分析与处理[幻;第二，海量数据中的有用信息可能被淹没在大量的无用信息中，不能快速有效的进行区分定位，进而严重的影响了数据处理的效率和效果[3];第三，海量数据信号特征的变化规律极其复杂，且不易把握，制约了信号特征信息的快速提取。因此如何利用有效的数据稀化方法，采取合适的信号处理技术，对海量数据进行分析与处理，从而完成对海量数据的时频分析与信号特征的快速提取，进一步提高处理效率是当前具有一定应用价值的研究课题。
本课题的研究目的是从均匀稀化与非均匀稀化两个方而深入研究海量数据的稀化算法，并提出一种针对海量测试数据的非均匀稀化算法，在理论研究的基础上，以Lab V IEW编程语言为平台，研究设计一个针对海量数据的信号处理系统。该系统能够通过对海量数据进行均匀与非均匀的数据稀化，并对稀化后及局部重构数据进行傅里叶变换、相关分析、谱分析和小波分析等常用时频域分析方法的分析处理，完成海量数据特征信息的快速提取及显示。
海量数据稀化算法的研究可有效解决当前测试领域存在的海量测试数据处理效率低下，测试数据特征信息不能实时快速获取的难题，能够为测试数据的后期细化分析提供基础的技术保障。另外利用LabVIEW的“软件即仪器”优势，可将海量数据处理方法方便的应用到测试设备中去，对测试设备整体性能的提高起到一定的促进作用。
1.2课题国内外研究现状
1. 2. 1海量数据处理技术研究现状
对海量数据进行处理的首要任务是对海量数据进行稀化，即力求用最少的数据表达信源所发出的信号，使信号占用的存储空间尽量小，而且尽量不丢失信号的关键信息数据稀化算法是海量数据处理的关键，针对相互之间没有关联信息的散乱海量数据点，首先需要寻找到各数据点与相邻数据点之间的关联规律，在这个过程中，如果将每个点都与其它点计算距离、比较大小，稀化效率是比较低下的。目前针对如何对海量数据进行简化，国内外提出了很多切实可行的方法。
Pauly M, Gross M, Kobbelt 提出了基于点的简化，即直接以采样点的空间近似替代数据波形的包络信息，避免因存储点间连通性而带来的信息冗余和过量存储消耗，同时保证简化数据的质量。典型算法如点删除、基于傅立叶理论的简化和基于局部变化估计的简化等。然而这种简化易丢失关键的数据特征，难以保证边界线或转折线处有足够的采样密度，导致数据的残缺，不利于数据的后期处理。
4 海量数据处理系统软件........ 50-76
4.1 虚拟仪器及 LabVIEW 编程........50-53
4.1.1 虚拟仪器的结构........ 50-51
4.1.2 LabVIEW 的编程........ 51-52
4.1.3 LabVIEW 的信号分析........ 52-53
4.2 海量数据稀化模块........ 53-59
4.2.1 均匀降频重采样算法........ 53-55
4.2.2 基于曲率变化的海量........ 55-59
4.2.3 非均匀降频重采样数据........ 59
4.3 信号特征分析模块........ 59-66
4.3.1 时域分析........ 59-61
4.3.2 频域分析........ 61-63
4.3.3 时频域联合........63-66
4.4 系统控制与文件管理部........ 66-69
4.4.1 用户登录模块设........ 66-67
4.4.2 数据存储模块........ 67-68
4.4.3 报表打印模块........ 68-69
4.5 实验结果及........ 69-74
4.6 本章小结........ 74-76
5 总结与展望........ 76-78
5.1 本文的主要........ 76-77
5.2 今后的工作........ 77-78
总结
海量数据稀化技术在测试数据的后期处理领域具有广泛的应用前途。本文针对海量数据后期处理困难的问题，从均匀重采样与非均匀重采样两个方而对数据稀化算法进行了深入的研究，并从理论上分析了重采样后数据的处理方法。最后采用LabVIEW软件平台以及模块化设计的核心思想，设计开发了海量数据稀化算法的软件系统，对稀化算法进行了验证与分析。本文完成的主要工作如下:
(1)根据课题任务以及项目要求，在深入分析海量数据稀化技术原理及发展现状的基础上，结合虚拟仪器技术及其编程语言LabVIEW，提出了基于LabVIEW平台的海量数据稀化及信号分析处理的设计思想及总体方案。
参考文献
[1]邱泽阳，宋晓宇.海量数据的均匀稀化[J].兰州交通大学学报.2006, 25 (4) : 63-67.
[2]林茂.虚拟现实项目中海量数据处理方法分析叮〕.价值工程.2011, 30 (19) :15-160.
[3]何芳原，浅谈海量数据处理技术研究[J].信息科学.2009, 8: 59-60.
[4]任春辉，魏平，肖先赐.改进的Morlet小波在信号特征提取中的应用[J].电波科学学报.2003. 18 (6) :633-637.
[5]马强，王探.数据压缩算法在单片机上的实现[J].焦作大学学报.2008, 4: 78-79.
[6]张丽艳，周儒荣，蔡炜斌.海量测量数据简化技术研究[J].计算机辅助设计与图形学学报，2001(11):1020-1023.
[7]Pauly M, Gross M, Kobbelt L. Efficient simplification of point一sampled geometry[J].in:iEEE Visualization 02 [C].2002. 41-49.
[8]武剑洁，王启付，黄正东，黄运保一种基于模糊聚类的海量测量数据简化方法[J].工程图学学报.2004, 3:38-45
[9]张丽艳，周儒荣，蔡炜斌等，海量测量数据简化技术研究[J].计算机辅助设计与图形学学报，2001, 13 (1) :1019-1023.
[10]董明晓，郑康平，姚斌.曲而重建中点云数据的压缩处理研究[J].组合机床与自动化加工技术，2004, 5:67-69.