1绪论
1.1课题背景
1.1.1云计算概述
随着互联网的发展，信息呈现出无限性增长的趋势，个人计算机的存储和处理数据的能力在如此大规模的数据面前显得无能为力。如何寻求一种低成本、安全快速的方式来解决无限增长的互联网信息的存储和计算需求，并为庞大的用户群体提供方便、快捷的服务，成为整个IT行业面临的问题。而同时代的Google在处理该问题上做得很成功，以Google文件系统为基础搭建起来的Google机器集群，为Google提供了极快的搜索速度和强大的处理能力。一方面是对海量数据处理和海量计算能力的强劲需求，而另一方面能够提供这种能力，所以云计算应运而生。云计算是由Google提出的，是一种通过网络将大规模廉价的计算机连接起来组成一个大型运算系统以向用户提供运算服务的技术。它将大的数据采用分布式的方法分割成为许多小块，然后分布到集群的结点上处理，这样，再大规模的数据的存储和计算问题都可以以低成本和高性能的途径来解决。云计算实现了 IT基础设施的资源化和服务化，改变了传统的服务方式，用户可以按需定制，硬件不再是计算机发展的唯一支撑。互联网络催生了云计算的出现，提高了它的关注度，加速了它的推广和发展，但是不仅仅只有互联网会遇到海量数据处理和计算的难题，在信息爆炸时代以互联网为主要特征的云计算的适应领域只限于互联网，很多符合采用云计算思维解决问题的场合，都可以运用云计算。随着电力系统在智能电网背景的发展,电网中的数据和信息将以几何级数增长,使得电力系统在调度信息的处理上面临挑战。怎样利用最小的硬件资源来实现最大的计算和存储能力是未来电力系统的要求。因此,迫切需要引入新的计算技术，在维持现有硬件设施不变的情况下，充分整合系统内部的计算能力和存储资源,提高电网的在线分析和实时控制能力,为智能电网提供有效的技术支撑[1]。
1.1.2电力系统不良数据辨识
智能电网建设要求加快现有电力系统监测、量测系统的升级和改造，提高智能化测量能力。随着数字化变电站、广域量测系统、GIS集成监控平台、输电线路监控平台等系统的不断完善，电力系统中将包含更多海量的实时数据，这些数据的准确性决定了电力系统运行的安全与可靠性。然而，当测量与传送系统出现偶然故障或受到较大的随机干扰时，电力系统极易出现不良数据。这些不良数据影响电力系统软件环境的性能及电力调度决策，破坏电力系统的正常运行，威胁整个电力系统的安全。电力系统不良数据的辨识的目的在于发现并排除测量数据和信息中偶然出现的少量不良数据，以提高系统运行的安全可靠性，是电力系统以及其他信息系统实时网络分析的重要功能，有助于电力系统安全、经济的运行[2][3]0一般而言，电力系统测量数据的网络标准误差0大约为正常量测范围的5%。通常规定误差大于±3ct的量测值就可以认为是不良数据，但在实际中所采用的不良数据的界限要远远大于±3o的标准，一般为大于± (6-7) a以上，通过对测量数据的检测与辨识处理，才能满足系统对测量数据的要求。检测是判断是否存在不良数据的方法，辨识是判断出不良数据的方法[4][5]。
1.2研究目的和意义
电力系统是一个高速和高维度的数据源，在空间分布上和互联网有很高的相似性，随着“十二五”对智能电网的发展规划，电力系统信息处理的复杂度也将会越来越高，所以将云计算技术引入电力系统，作为智能电网发展的一个重要环节和支撑平台，将会有很深的应用前景。现今电力系统不良数据辨识的算法有很多，主要是状态估计和数据挖掘两个方向。基于状态估计的辨识算法容易出现残差污染和残差俺没现象，从而造成漏检或误检，影响辨识的效果。尤其当出现多个不良数据时，使用这种方法经常会发生错误辨识的现象。基于数据挖掘的辨识算法根据分析方法和具体算法的不同，可以分为基于神经网络、基于模糊理论和聚类分析的两种类型。基于聚类分析的辨识方法辨识精度和智能化程度高，但是计算复杂度高，计算量大；基于神经网络的辨识算法要产生训练集，训练集的存储需要占用大量硬件资源。因此，在电力系统高速发展的背景下，对辨识算法进行研究，提高其算法运算速度，减少算法硬件资源消耗，增强算法在实时数据处理平台上的实用性，具有很强的实际意义和社会价值。论文将从云计算和电力系统不良数据辨识两个方面入手，探索云计算在电力系统中应用的技术架构，研究基于电力系统云计算技术架构的辨识算法，利用云计算思维和技术解决现有算法运算时间长，应用于实际时对硬件要求高的问题，为云计算在电力系统中的实现和发展提供一个应用层面的发展方向。
2云计算及其应用
云计算是多种技术混合演进的结果，成熟度较高，发展极为迅速。各大IT厂商均在大力投资云计算的研究，推广各自的云计算服务和产品。MapReduce模型是由Google提出的一种分布式计算模型，是云的关键技术之一，它能支持大数据集的并发处理。
2.1云计算技术
2.1.1云计算概念和特点
云计算（Cloud Computing) [8，9]是一种新兴的商业计算模型。它将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务。因为其计算位置的不确定型和电子的运动类似，所以借用物理上“电子云”的概念，将这种资源池称为“云”。为了更好地认识和理解云计算，许多计算机领域专家和学者试图从不同的角度，用不同的方式给云计算下定义。中国网格计算、云计算专家刘鹏给出了如下定义：“云计算将计算任务分布在大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和各种软件服务”。所谓云是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器等规模化资源介质。云计算将所有的计算资源集中起来实现自动管理，其运行细节向用户屏蔽。这使得应用提供者能够更加专注于自己的业务，有利于创新和降低成本。云计算是并行计算、分布式计算和网格计算等计算机科学概念在商业领域的发展和实现。是laaS、PaaS、SaaS、虚拟化、效用计算等概念呈螺旋形上升演变的结果。
3电力系统不良数据辨识的GSA算法........... 23
3.1基于GSA的电力系统不良数据辨识.......... 23
3.1.1 K-means聚类的不良数据辨识.......... 23
3.1.2 GSA的不良数据辨识.......... 25
3.2基于优化GSA的不良数据辨识.......... 27
3.3优化GSA不良数据辨识算法验证.......... 30
3.4本章小结.......... 34
4优化GSA的云计算方案及辨识仿真.......... 35
4.1 GSA的云化方案.......... 35
4.2优化GSA云方案算法实现.......... 38
4.3电网数据模拟.......... 41
4.4云计算环境部署.......... 42
4.4.1环境配置和实验集群的搭建.......... 42
4.4.2 Eclipse 下的 Hadoop 实现.......... 45
4.5实验结果分析..........48
结论
论文对构建基于云计算的电力系统不良数据辨识算法的关键技术进行了研究。通过对新型GSA算法的分析，为云计算技术移植到电力系统的想法提供一个技术层面的佐证。主要研究成果如下：
a)通过研究分析现有云计算技术架构，以及Hadoop平台的HDFS文件系统和MapReduce软件框架的核心技术和相关机制，说明了电力系统的分布式运行和集中式调度模式与云计算的模式相似，提出了将Hadoop云计算平台应用与电力系统中对电力信息进行云计算和云存储的方案，总结了将基于云计算的数据挖掘理论应用于电力系统不良数据辨识的目标。
b)通过对基于传统GSA算法的不良数据辨识方法进行研究发现，对参考分布生成数据集并计算其ElnWk，可以自动确定最佳聚类个数，但是计算复杂度较高，多维数据集参考分布没有合适生成算法。随机选取初始聚类中心导致聚类结果的不稳定，如选取到孤立点或者噪声点，聚类结果将会发生偏差。利用肘形判据原理可以减少对参考数据分布的依赖。最大最小距离法可以稳定初始聚类中心的选取结果，使选取的初值尽可能的不属于同一类。因此，使用两种方法对GSA进行优化。通过仿真比较，证明其改善了 GSA算法的聚类精度，提高了其用于不良数据辨识的时效性。
c) GSA本身蕴含云化特性，通过研究，分别将其约定为a特性和p特性，将其与MapReduce模型的实现思想结合，提出了 GSA的云化方案。以此为基础，结合肘形判据原理和最大最小距离法，对优化GSA的云化的方案，提出了基于MapReduce框架的优化GSA不良数据辨识算法的云计算模型。
d)部署Hadoop云计算试验平台，在Eclipse软件上幵发Hadoop上的应用程序。采用IEEE标准数据作为数据源，并生成仿真数据集。利用基于优化GSA的云计算模型对该数据集进行了仿真分析。验证了在高维度大数据量下，基于优化GSA云计算的不良数据辨识算法能继承优化GSA算法的辨识精度并体现云计算本身在计算速度上的优势。
由于作者水平有限和时间不足，依然没有完全解决GSA算法对参考分布的依赖性，在判断是否无不良数据时仍然需要对其进行计算。在对新型GSA算法的研究上，没有真实大型的数据库环境来验证其在大数据集环境下的运行性能，使得算法的实用性验证稍显欠缺。
参考文献
[1]潘睿，刘俊勇，郭晓鸣.电力系统云计算初探[J].四川电力技术,2010，33(3):71276.
[2] Tibshirini R.，Walther G.，Hastie http://sblunwen.com/dllww/ T. Estimating the number of clusters in adataset via the Gap Statistic . Unpublished Technical Report ： StanfordUniversity. 2000.
[3] Lajbcygier P，Mei Y O. Estimating the number of mutual fund styles using thegeneralized style classification approach and the GAP statistic. ComputationalIntelligence for Financial Engineering 2003 Proceedings. 2003 ： 279 -284.
[4]于尔铿.电力系统状态估计[M].北京：水利电力出版社，1985.
[5]诸骏伟.电力系统分析[M].第一版?北京：中国电力出版社，1998.
[6] Hadoop 技术[EB/01],
[7]张斌.基于GSA的数据挖掘在电力系统不良数据辨识中的应用[D]?南京理工大学，2003.
[8]吴军基，杨伟，葛成.基于GSA的肘形判据用于电力系统不良数据辨识[J].中国电机工程学报,2006，26 (22) :23-28.
[9] A Weiss. Computing in Clouds, ACM Networker, 11 (4) :18-25, Dec.2007.
[10]R Buyya, CS Yeo，S Venugopal, Market-Oriented Cloud Computing:Vision, Hype,and Reality for Delivering IT Services as Computing Utilities. Proceedings of the2008 1 OthlEEE International Conference on High Performance Computing andCommunications. Vol.00，pp, 5-13, 2008.