第一章 绪论
1.1 研究工作的背景与意义
随着互联网技术以及通信技术的普及，互联网用户量与日俱增，用户在互联网上的行为被数字化记录，网络上的数据形态以及数据来源也逐渐丰富。尽管基于单一用户、单一数据来源的用户分析模型研究已经比较成熟，但是随着多源异构数据的快速增长，用户建模分析的难度不断提升，单一数据也无法准确刻画用户特征。各行各业都会有数据存储以及管理的相关应用，这其中对于多源异构数据的存储以及管理更是具有非常大的价值，其关联研究和数据整合系统研究已经成为热点和趋势。
雅安职业技术学院目前已建 OA、人才培养、人事软件、学分制、门禁系统、就业管理、资产管理、心理健康等多个业务系统，这些系统通常采用的体系架构都是分布式，堆积的数据也具有多源异构的特点。常见的情况是，比如高校内部有多个信息系统，信息系统采集记录了学生或者职工的不同信息，但是各种信息系统间不能进行数据传输和交换，导致数据的重复采集以及管理成本的增长，搭建一套多源异构数据整合系统是解决这一问题的关键。近年来网络通信技术的跳跃式发展和智能手机大面积大范围的推广普及，带动了移动应用的蓬勃发展，移动信息化已经成为趋势，要求实现将各个系统待办整合在一个应用上实现手机办公的需求非常急迫。本文以多源异构数据整合系统设计与实现为研究课题，重点研究如何提取多源、异构数据，并且对这些提取出来的数据进行整合，输出需要的数据。
本系统能够解决雅安职业技术学院组织内部各种信息系统互不兼容，身份认证繁杂，权限管理混乱，业务内容无法共享，老系统移动化接口提供艰难，系统功能扩展复杂等问题。随着移动应用的兴起，特别是 4G 网络以及智能手机的普及，移动信息化已经成为趋势，要求实现将各个系统待办整合在一个应用上实现手机办公的需求非常急迫，为了方便能够在移动设备使用校内的应用，开发移动端 App，在一个 App 上实现需要及时展现的所有系统的内容，从而提高办事效率和使用满意度。
1.1 研究工作的背景与意义
随着互联网技术以及通信技术的普及，互联网用户量与日俱增，用户在互联网上的行为被数字化记录，网络上的数据形态以及数据来源也逐渐丰富。尽管基于单一用户、单一数据来源的用户分析模型研究已经比较成熟，但是随着多源异构数据的快速增长，用户建模分析的难度不断提升，单一数据也无法准确刻画用户特征。各行各业都会有数据存储以及管理的相关应用，这其中对于多源异构数据的存储以及管理更是具有非常大的价值，其关联研究和数据整合系统研究已经成为热点和趋势。
雅安职业技术学院目前已建 OA、人才培养、人事软件、学分制、门禁系统、就业管理、资产管理、心理健康等多个业务系统，这些系统通常采用的体系架构都是分布式，堆积的数据也具有多源异构的特点。常见的情况是，比如高校内部有多个信息系统，信息系统采集记录了学生或者职工的不同信息，但是各种信息系统间不能进行数据传输和交换，导致数据的重复采集以及管理成本的增长，搭建一套多源异构数据整合系统是解决这一问题的关键。近年来网络通信技术的跳跃式发展和智能手机大面积大范围的推广普及，带动了移动应用的蓬勃发展，移动信息化已经成为趋势，要求实现将各个系统待办整合在一个应用上实现手机办公的需求非常急迫。本文以多源异构数据整合系统设计与实现为研究课题，重点研究如何提取多源、异构数据，并且对这些提取出来的数据进行整合，输出需要的数据。
本系统能够解决雅安职业技术学院组织内部各种信息系统互不兼容，身份认证繁杂，权限管理混乱，业务内容无法共享，老系统移动化接口提供艰难，系统功能扩展复杂等问题。随着移动应用的兴起，特别是 4G 网络以及智能手机的普及，移动信息化已经成为趋势，要求实现将各个系统待办整合在一个应用上实现手机办公的需求非常急迫，为了方便能够在移动设备使用校内的应用，开发移动端 App，在一个 App 上实现需要及时展现的所有系统的内容，从而提高办事效率和使用满意度。
.....................
1.2 多源异构系统国内外研究历史和现状
系统间的数据整合技术始于 90 年代 ERP 的应用。随着计算技术以及信息化技术的快速发展，诞生了越来越多的信息应用系统。越来越多的系统的建立，就必然的要求各个系统间能够进行数据、业务的共享。在这个过程中各个组织提出了许许多多的技术、标准、解决方案。其中有代表性有 EAI、SOA、ESB 等几种。而其中有技术标准、有架构思想、有设计模型、有商业概念，设计者们的目的就是为了解决不同系统不同数据源间的数据融合问题。
(1)数据多源特征研究
国内在近些年越来越认识到信息孤岛的问题，所以目前要求现代信息化建设从全局服务的意识出发，建立一套行之有效的标准和规范进行资源的整合，而整合资源就是对以前老旧系统的整合。目前很多高校已经对异构数据整合进行研究。研究结论可以看出，由于缺乏顶层设计，同一部门内的不同信息应用系统，单独设计，应用单一，单独管理，各系统之间几乎没有联系，具有较强的多源性和异构性的特点，因此信息应用系统呈现多样性特征，具体表现在多个信息应用系统的数据来源和数据结构不同，针对数据的管理模式以及标准也是多种多样，以及各个应用系统具有不同的开发和管理平台。
1.2 多源异构系统国内外研究历史和现状
系统间的数据整合技术始于 90 年代 ERP 的应用。随着计算技术以及信息化技术的快速发展，诞生了越来越多的信息应用系统。越来越多的系统的建立，就必然的要求各个系统间能够进行数据、业务的共享。在这个过程中各个组织提出了许许多多的技术、标准、解决方案。其中有代表性有 EAI、SOA、ESB 等几种。而其中有技术标准、有架构思想、有设计模型、有商业概念，设计者们的目的就是为了解决不同系统不同数据源间的数据融合问题。
(1)数据多源特征研究
国内在近些年越来越认识到信息孤岛的问题，所以目前要求现代信息化建设从全局服务的意识出发，建立一套行之有效的标准和规范进行资源的整合，而整合资源就是对以前老旧系统的整合。目前很多高校已经对异构数据整合进行研究。研究结论可以看出，由于缺乏顶层设计，同一部门内的不同信息应用系统，单独设计，应用单一，单独管理，各系统之间几乎没有联系，具有较强的多源性和异构性的特点，因此信息应用系统呈现多样性特征，具体表现在多个信息应用系统的数据来源和数据结构不同，针对数据的管理模式以及标准也是多种多样，以及各个应用系统具有不同的开发和管理平台。
数据来源和结构多样性。在实际的生活中，部门的管理基本都是按照职能来划分的垂直领导系统，数据分割明显，数据的来源是跨地域、跨层级、跨部门的，具有明显的多样性。其中数据结构多样，指的是数据有可能是基于数据库的结构化数据，有可能是半结构化甚至非结构化数据。数据管理以及存储模式多样性，目前数据存储主要是以关系模型为主，除此之外还有非关系模型，即使是同一种模型，模型的结构也有可能是不同的，这就导致了数据存储模式的多样化。数据标准多样性。
........................
第二章 相关技术
2.1 Java 语言
Java 是面向对象编程语言，它的语法结构和编程形式非常简单易用，而且 Java语言集 C 语言和 C++语言两家之长于一身，还去除了 C 语言和 C++语言里实用性不强而且安全性不高的某些特性，比如指针和多继承等概念，因此 Java 语言比 C语言和 C++语言更适合程序员，由此可见 Java 语言在编程领域具备显著优势和良好的应用前景。面向对象，准确的来说是一种编程思想，面向对象编程能够让程序员对现实抽象化，从而面向对象更加接近现实，使得编程更加简单容易。特别是在实现数据抓取整合，Java 多线程、高性能的特性能帮助系统很好的实现[8]。Java语言具有以下特点：
2.1 Java 语言
Java 是面向对象编程语言，它的语法结构和编程形式非常简单易用，而且 Java语言集 C 语言和 C++语言两家之长于一身，还去除了 C 语言和 C++语言里实用性不强而且安全性不高的某些特性，比如指针和多继承等概念，因此 Java 语言比 C语言和 C++语言更适合程序员，由此可见 Java 语言在编程领域具备显著优势和良好的应用前景。面向对象，准确的来说是一种编程思想，面向对象编程能够让程序员对现实抽象化，从而面向对象更加接近现实，使得编程更加简单容易。特别是在实现数据抓取整合，Java 多线程、高性能的特性能帮助系统很好的实现[8]。Java语言具有以下特点：
(1)简单性
Java 语言虽然跟 C 语言和 C++语言很接近，但是为了使得 Java 语言能够被大多数程序员熟练使用，语言的设计者把 C++语言中一般程序员很少用到的实用性不强并且具有安全隐患的某些特性给丢弃掉了。Java 语言更加安全和易于操作，比如 Java 语言去除了结构体、联合体等结构，用数组和串来代替，去除了多继承，大大提高了编程的效率。Java 去除了主文件，区别于编译型语言和解释型语言，先编译后解释，免去了预处理阶段。Java 语言去除了指针概念，指针虽然功能强大，但是具有安全隐患，Java 摒弃了指针，利用对象引用和简介引用来代替，使得程序员不用担心内存泄漏或者内存溢出等问题甚至由此引发的程序崩溃、系统宕机，程序员能够更多的思考程序的目的以及效果实现[9]。
.......................
2.2 Java EE 体系架构
Java EE(Java Platform，Enterprise Edition)是 Java2 平台企业版，它的核心是一组技术规范与指南。Java EE 是社区驱动开发的，来自各行各业的 Java 用户以及开发者共同努力的结果。JavaEE 的版本迭代都是基于行业需求，进行不断的开发调整以及优化。每一个版本都能完美的囊括行业所需的功能，Java 开发人员无须过多的注重于底层的研发，JavaEE 的模块以及架构提供各种工具供开发人员使用，为开发人员节省了大量的时间[11]。
Java EE 体系结构从上到下分别是应用层、视图层、业务层、持久层。
Java EE 为分布式事物管理，为用户交互、业务处理、数据管理提供一套大家都认可的标准，并且提供大量框架，Java EE 体系架构如图 2-1 所示。
Java EE(Java Platform，Enterprise Edition)是 Java2 平台企业版，它的核心是一组技术规范与指南。Java EE 是社区驱动开发的，来自各行各业的 Java 用户以及开发者共同努力的结果。JavaEE 的版本迭代都是基于行业需求，进行不断的开发调整以及优化。每一个版本都能完美的囊括行业所需的功能，Java 开发人员无须过多的注重于底层的研发，JavaEE 的模块以及架构提供各种工具供开发人员使用，为开发人员节省了大量的时间[11]。
Java EE 体系结构从上到下分别是应用层、视图层、业务层、持久层。
Java EE 为分布式事物管理，为用户交互、业务处理、数据管理提供一套大家都认可的标准，并且提供大量框架，Java EE 体系架构如图 2-1 所示。
........................
第三章 系统需求分析 ............................ 13
3.1 需求调研 .................... 13
3.2 功能需求 ................. 13
第四章 系统设计 ..................................... 18
4.1 设计目标和原则 ..................................... 18
4.1.1 设计目标 .............................. 18
4.1.2 设计原则 .............................. 18
第五章 系统实现 .......................................... 46
5.1 开发工具 ............................. 46
5.1.1 平台系统开发工具 .................................. 46
5.1.2 配置文件开发工具 ......................... 46
第六章 系统测试
6.1功能测试
利用如表 6-1 所示用例，对平台后台管理功能进行测试，经过测试表明登录模块的正常登录以及失败登录情况都测试正常，首页模块中首页界面以及密码修改和退出功能均正常，用户管理模块对用户的新建、删除、编辑、冻结等操作皆正常，除此之外对业务管理模块、日志与告警模块、统计报表等各项模块测试均正常。
..........................
第七章 总结与展望
7.1 总结
随着移动互联网业务的发展和普及，越来越多的用户参与网络活动，这些用户行为被数字化记录，网络上的数据形态以及数据来源也逐渐丰富。尽管基于单一用户、单一数据来源的用户分析模型研究已经比较成熟，但是随着多源异构数据的快速增长，用户建模分析的难度不断提升，单一数据也无法准确刻画用户特征。多源异构数据的融合研究，在各行各业都产生了非常大的价值，其关联研究和数据整合系统研究已经成为热点和趋势。本文以多源异构数据整合系统设计与实现为研究课题，重点研究如何提取多源、异构数据，并且对这些提取出来的数据进行整合，输出需要的数据。
本文首先介绍课题背景以及选题意义，梳理多源异构数据整合系统的国内外研究动态。根据整个系统的需求，明确系统的主体架构以及分析了本文所建信息系统中需要用到的技术问题，进而确定了系统所需关键技术，在此基础上对整个系统进行整体设计和模块设计。其次是分析了系统中各个平台采用的技术，后台系统应用 B/S 架构，并采用 Java 编程语言，基于 Java EE 体系架构建立系统框架。在移动端将请求发送到后端，后台根据匹配的数据源和规则对数据源进行访问，然后根据匹配模版进行数据组合，从而通过接口输出 XML 数据到移动端，移动端解析对应的数据进行展现。最后是展现整个系统的详细设计以及编码，并对系统进行性能测试，测试结果证明了系统的稳定性。
7.1 总结
随着移动互联网业务的发展和普及，越来越多的用户参与网络活动，这些用户行为被数字化记录，网络上的数据形态以及数据来源也逐渐丰富。尽管基于单一用户、单一数据来源的用户分析模型研究已经比较成熟，但是随着多源异构数据的快速增长，用户建模分析的难度不断提升，单一数据也无法准确刻画用户特征。多源异构数据的融合研究，在各行各业都产生了非常大的价值，其关联研究和数据整合系统研究已经成为热点和趋势。本文以多源异构数据整合系统设计与实现为研究课题，重点研究如何提取多源、异构数据，并且对这些提取出来的数据进行整合，输出需要的数据。
本文首先介绍课题背景以及选题意义，梳理多源异构数据整合系统的国内外研究动态。根据整个系统的需求，明确系统的主体架构以及分析了本文所建信息系统中需要用到的技术问题，进而确定了系统所需关键技术，在此基础上对整个系统进行整体设计和模块设计。其次是分析了系统中各个平台采用的技术，后台系统应用 B/S 架构，并采用 Java 编程语言，基于 Java EE 体系架构建立系统框架。在移动端将请求发送到后端，后台根据匹配的数据源和规则对数据源进行访问，然后根据匹配模版进行数据组合，从而通过接口输出 XML 数据到移动端，移动端解析对应的数据进行展现。最后是展现整个系统的详细设计以及编码，并对系统进行性能测试，测试结果证明了系统的稳定性。
本文研究的系统在解决高校组织内部各种信息系统互不兼容、身份认证繁杂、权限管理混乱、业务内容无法共享以及现有系统移动化接口提供艰难等方面具有积极作用，并且系统的功能扩展性得到优化，能够有效提升系统性能和工作效率。
参考文献（略）
参考文献（略）