微环境监测平台存储系统的计算机设计与实现

本文是一篇计算机论文，本文所设计的存储方案具有一定的可行性与有效性。同时对本研究进行了总结，结合实际需求，提出了平台设计的改进思路，为课题今后进一步深入研究提供参考。

第 1 章   绪论

1.1   研究背景和意义
现阶段人们所熟知的气象预报和环境监测主要是对大范围内的环境数值进行观测，但是在日常的工作生活中，小范围内的环境变化更需要多加关注，因此微环境监测显得尤为重要。微环境指的是一个范围较小的特定区域的环境，通过对该区域的环境进行监测，监测得到的环境数据可以为生活生产提供辅助决策。目前微环境监测已引起国内外科学家的关注。
随着现代社会科技的不断发展，各个行业也发展迅速，数据量呈指数增长，数据的增长速度也越来越快，传统的数据库已经不能满足日益增长的庞大数据量的存储需要。另一方面，目前各种类型的传感器、定位系统、监控器等的使用也变得很普遍，这些类型的数据源同样也产生了海量数据，新型的数据源给传统的存储方式带来了新的机遇与挑战[2]。传感器数据通常以秒为单位进行数据的采集，通常情况下采用传统的数据库进行数据的存储会造成极大的数据冗余，传统的数据库已经不能满足海量数据的存储、分析和管理的需要。因此，寻找一种高效的传感器数据存储方案成为数据库应用的研究热点。
本文来源于河北省重点研发项目《基于语义物联网的微环境监测平台关键技术研究》。基于语义网的物联网微环境监测平台针对物联网的三个层次进行研究和设计，提供标准的接口设备和通信协议。基本平台完成后，可以在本平台上进行不同的业务应用。微环境监测仪器可在各种无人值守恶劣环境下长期稳定的进行数据的采集工作。传感器设备能够根据不同的需求选择要进行监测的内容。同时，可以通过采用统一通信协议的方式保证数据传输的过程中的的通信质量。最终将采集到的数据以及项目基础信息等集中到一个平台中，进行统一的存储和处理，为平台的用户进行数据的直观展示，并进一步提高工作效率。
..........................

1.2   国内外研究现状
我国的环境监测工作在上个世纪 70 年代就已经开始发展了。到目前为止我国在环境监测方面的能力已经有了非常明显的提高，逐渐的形成了以环境监测站为中心的监测体系[4]。它已经有组织网络的雏形，并且监测分析技术也形成体系化。
我国的学者专家等对环境监测方面进行了深入的研究。张志君[5]等改进了传感器技术在大系统环境监测中的实际应用。同时基于对智能环境的监控管理技术，提出了 IPMI 智能接口标准，在很大程度上对环境监测技术进行了优化，并对系统的稳定性以及安全性进行了大幅度的提高。另一方面，基于 ZigBee 技术的环境监测技术已成为我国的研究热点问题[6]。陈亚楠[7]  根据采用大数据量的由卫星传感器主要组成的环境监测网络，设计出利用 ZigBee 为主要技术手段的环境监测系统，主要功能包括长时间内连续进行数据的采集、上传和控制等功能[8]。
另一方面，从 19 世纪末开始国外就已经开始对环境监测技术进行研究[9]。首先由发达国家开始着手进行研究，最初在全国范围内监测的目标包括空气、水以及放射性污染物等[10]。随着对环境监测体系的不断研究和完善，环境监测平台的发展形式变得更加多样化、标准化。根据卫星通讯系统成立的水体污染的监测项目，主要是由西欧国家一起相互合作完成。此项目主要是对多瑙河的水质进行监控。日本根据长时间连续的对监测设备进行在线测量并处理数据，成立了一些监测水、空气等环境指标的监测平台[11]。在 2004 年，美国在环境监测方面的研究员利用无线传感网络通过对葡萄园中的生长环境进行了大范围的监测，成功的提升了葡萄的品质。
随着云计算、大数据等技术的不断发展，传统的存储方式已经不能满足海量数据存储的需要。非关系型的数据库发展迅速，目前在该领域中已变得炙手可热[12]。现阶段最具代表性的 No SQL 有 Hbase、Redis、Mongo DB、Neo4j 等。本文选用 Redis和 Mongo DB 这两种非关系型数据库并结合 My SQL 关系型数据库设计了一套面向微环境监测平台的存储系统。Redis 和 Mongo DB 两种非关系型数据库发展迅速，应用广泛。
............................

第 2 章    微环境监测平台设计

2.1   需求分析
为了满足人们对于小范围区域内环境监测的需求，解决环境数据无法系统分析的问题，同时也为了方便相关工作人员对监测到的环境数据进行管理，本文设计了一套微环境监测平台。
该平台主要是对传感器采集的多种环境数据进行接收、存储、展示以及管理等处理。传感器需要采集的环境数据主要包括 CO2 浓度、光照强度以及土壤的温、湿度和空气的温、湿度等多种信息。平台的主要包括传感器节点的地图展示、用户信息管理、项目信息管理、区域管理、节点管理、设备管理、信息查询管理以及预警管理等功能。微环境监测平台整体架构图如图 2-1 所示。

........................

2.2   平台业务架构设计
本文在设计了微环境监测平台的同时又针对该平台设计了一套高性能的存储系统。该存储系统开发完成后可以使平台在处理大数据量时，能够实现平台的高并发量以及高速缓存，保证数据的实时性以及稳定性。根据平台不同业务数据对存储方面的不同要求，本文分别采用My SQL数据库、Mongo DB数据库以及Redis内存数据库三种数据库，并设计了增加读库和数据缓存两种读写分离的存储方案来实现对数据的存储工作。同时根据数据库的不同特点分别对My SQL数据库和Mongo DB数据库设计不同的优化方案。另一方面，系统采用数据分片的方式设计了一套数据存储中间件的设计方案。本平台的技术路线图如图2-2所示。

微环境监测平台主要是通过以传感器设备采集的数据为依据来实现作物的生长环境进行监测。本平台适用于林业、牧业、道路、水质监测等各个行业中，可以实现同时对数个项目的同时创建。因此，为保证同一类型项目实现结构的共享并保留自身所特有的特点，本平台在服务端利用 SOA 架构进行业务的设计。
.......................
第 3 章  高并发数据接口的设计与实现 ······················ 11
3.1   需求分析 ······················ 11
3.2   关键技术 ············ ······· 11
··第 4 章  基于读写分离的数据库存储方案设计与优化 ······················ 19
4.1   需求分析 ························ 19
4.2   数据库存储方案及优化设计 ····················· 19
第 5 章  数据存储中间件的设计与实现 ························· 33
5.1   需求分析 ··················· 33
5.2  平台数据存储中间件的总体设计 ·············· 33

第 5 章   数据存储中间件的设计与实现

5.1   需求分析