1绪论
1.1课题背景
随着计算机网络技术、网络规模的不断发展，Internet已经深入到人们生活的各个方面，手机上网成为用户必不可少的活动之一。互联网对于很多人来说，它是一种信息获取和交换的工具，人们通过使用各种网络业务，可以看新闻、发微博、听音乐、看视频和下载各种文件等进行各种网络活动⑴。而用户通过手机在与网络交互的同时，他们的网络行为对于网络规划和业务的发展有着非常重要的意义。根据中国互联网信息中心（CNNIC)发布的第31次《中国互联网络状况统计报告》[2]显示，截至2012年12月底，我国网民规模达到5.46亿，全年共计新增网民5090万人，互联网普及率达到42.1%。与之同时网民中使用手机上网的比例也继续由69.3%提升至74.5%，其第一上网终端的地位更加稳固。随着互联网技术的不断发展，网络安全性的问题日趋显著，用户对网站的服务质量的要求越来越高，为了达到这一目标，就需要网站管理者通过对用户的网络行为进行分析，才能够提供更加满意的服务，不仅商业网站如此，非盈利性机构的网站也需要对用户的网络行为进行统计和分析。用户的网络行为是在虚拟网络中进行的，与现实的社会行为相比较，可以理解为用户为了实现特定的目标，借助于互联网进行的有意识的活动。它的主要特点是数据量大、更新速度快、互动性强、隐蔽性强和性质复杂[3]。中国电信作为中国三大运营商之一，其用户的网络行为可以作为一个参考来体现大部分用户的网络行为。而用户的网络行为都是通过中国电信的网关来获取和实现的，所以为了获取用户手机上网信息的记录，并对其有效的统计和管理，本文设计和开发了网关统计系统。
…………
1.2研究内容
网关统计系统需要实现对网络设备的性能和有效性进行监测，对用户上网数据的统计功能，来确保设备安全、有效、可靠的运行，为客户提供高质量、高效的服务。为此将网关统计系统设计成以下七大功能模块。通过crontab定期5分钟采集PULL和PUSH日志文件，日志文件通过SYSLOG-NG从WAP网关上传到统计服务器，LogParser定时采集目录里的日志，并在釆集的目录上锁，防止文件重复读取，采集完日志后通过JDBC批量插入到数据库的24小时原始日志表中，同时将入库了的日志文件备份到其他设定目录中。通过网关统计系统可以有效地监控每一个网络设备及服务器的性能和状态等其他参数，这对于管理和维护服务器有着不可或缺的作用；统计管理中可以将用户上网数据处理过后再进行一一展现，这样就可以更好地了解客户所需要的服务，这对于中国电信运营商来讲是非常重要的；设计出更加高效的信息存储和数据查询的应用系统。
…………
2开发技术分析
2.1系统平台搭建分析
网关统计系统的搭建是基于常用WEB的B/S结构，它是一套实时的通过Internet来监控网关和对用户上网信息分析的大型软件系统，综合运用了 WEB常用三大框架（Struts2、Hibernate、Spring)技术，为用户提供了他们所需要的实际功能。结构如图2-1所示。从图2-1可以看出，网关统计系统首先将用户上网的信息根据不同的TPS(Transaction Per Seconds)量将生成的日志插入到各个插入库中，在入库进行日志解析、监控告警、插入库统计分析，之后将各个插入库中的统计结果结合原始曰志表数据同步到查询库中，为最终的用户行为数据统计提供原始数据源。
…………
2.2WEB技术分析
目前来说，大部分的WEB开发采用的平台都是J2EE平台，它是开发WEB应用最流行的平台之一，从银行、证券系统到企业信息化平台都使用J2EE，J2EE自身就是用来快速的设计和开发并且部署和管理大型企业级的软件系统。J2EE首先它是一种体系结构，主要利用了 JAVA2平台来解决企业复杂方案的发展、管理问题的。设计J2EE架构有2个初衷。首先对于厂商，J2EE意味这一套幵放标准。参与了这个标准，那么其产品就可以在各种不同的OS环境下工作。其次，对于开发者来说，它是一套现成的解决方案。在开发中遇到的很多技术难题（包括跨平台移植、事务处理、安全性等）就会得到很好的解决[4]。Servlet的生存周期包括初始化、服务和消亡三个部分。它的初始化是由容器调用方法完成，并且初始化在Servlet的整个生命周期中有且仅有一次。其次服务是在发生请求进行的时候，来一次请求就服务一次。最后消亡是发生在容器关闭的时候，容器会调用destroyO方法，这个方法在Servlet的整个生命周期也有且仅有一次调用的机会。当容器启动的时候会构造一个用来处理http请求的线程池，每个Servlet实例的容器构建在适当的时候，会从线程池中取出时发生中断请求，当一个线程来处理请求，如果请求需要一个Servlet来处理，容器将通过要求的交给Servlet的处理。之后返回到处理线程，处理线程将结果返回给请求者，然后返回线程池线程等待另一个请求[7]。niter是一个过滤器，过滤器是用户请求，和该处理程序之间的中间层。处理的内容的响应于用户请求，可以对用户请求进行一次需要的过滤。该过滤器可用于访问控制，代码转换的场合。
……………
3系统总体设计........13
3.1系统目标........ 13
3.2系统功能结构........ 13
3.3系统数据流图 ........14
3.4系统的软硬件环境........ 14
3.4.1系统软件环境........ 14
3.4.2系统硬件环境........ 15
3.5数据库设计........ 17
3.5本章小结........ 25
4系统功能的设计与实现........27
4.1日志入库功能........ 27
4.2釆集器管理功能........ 30
4.3实时监控与监控管理功能........ 32
4.4报警管理功能 ........33
4.5统计功能的实现........ 35
4.6系统管理功能........ 40
4.7本章小结........ 41
5系统测试........ 43
5.1系统登录界面 ........43
5.2采集器管理界面........ 44
5系统测试
5.1系统登录界面
CPU利用率是服务器的监控项之一，系统会将各个时间段的CPU利用率统计起来利用Jfreechart来绘制图像，图片右侧会显示CPU利用率的当前值、今日最高值、今日、最近7天和最近30天平均值。响应时间也是服务器的监控项之一，系统会将各个时间段的服务器的响应时间统计起来利用Jfreechart来绘制图像，图片右侧会显示CPU利用率的当前值、今日最高值、今日、最近7天和最近30天平均值。这个模块主要是起到展现的功能，在釆集器管理模块中对已经设置的监控的服务器信息在这个模块中可清晰査询。操作和输入：页面右上方的过滤报警功能，点击下拉框可通过选择软件事故报警、服务质量报警等选项可以缩小查询的范围，快速查询到以设置好监控的服务器的报警信息。具体效果图如图5-9所示。从图5-9可以看到这里对所有的报警信息进行了统计，用户可以根据输入判断条件来查询报警信息，报警信息的各个字段在上文中巳经介绍过了。
…………
结论
随着互联网技术的不断发展和应用的不断普及，它己经深入到人们生活中的方方面面。上网成为人们生活中最平凡的事情之一，Internet为人们提供了大量的信息资源，人们可以在互联网中学习、交流和娱乐。但伴随它的是巨量的上网数据，这些用户的网络行为体现了网络业务与用户之间的联系，为了能够对这些数据更加清晰的了解和利用，本文提出网关统计系统来实现对用户行为数据的统计与分析。本文的主要研究内容是对用户行为数据的统计和分析，得到运营商想要的关键性能指标。从系统设计、到系统功能实现、再到各个功能的测试及验证结果，都进行了阐述。首先是日志入库功能，通过网关对用户的上网数据进行一一采集，形成原始日志表；其次是釆集器管理、实时监控和监控管理这三个功能，都是为了对各个服务器进行有效的管理，增强系统的健壮性和可靠性；再次是统计系统，它是整个系统的核心，通过它可以将用户行为数据进行有效的统计和分析，得到想要的关键性能指标，对于运营商业务的发展有着深远的意义；最后是系统管理功能，它是整个系统功能的总枢纽，通过它可以方便快捷的使用其他子功能。作者主要在对统计功能的设计与实现上进行了基础性的工作，希望为以后的研究提供一些帮助。由于个人的知识和精力有限，不足之处希望各位专家批评指正。
……………
参考文献（略）