摘要
随着计算机科学和互联网技术的不断进步，信息技术的发展迈入了一个新的高度。支撑社会运转的软、硬件系统，不管从规模大小或是复杂程度，都到达了前所未有的水平。如今政府大力推进“互联网+”计划，互联网与传统行业结合得更加紧密，相互促进彼此的发展。在这个云计算和大数据大行其道的年代，维护互联网及其软硬件系统的稳定运行、检测和修复潜在的异常就变得更加重要。
日志监控是软件监控系统中的重要组成部分。通过对日志内容和日志输出特征的分析，可以判断当前系统的运行状态，预测可能发生的异常。目前已经有很多关于日志分析的研究，已有的监控系统也取得了很好的效果。但当前日志分析技术仍然面对着一些问题，主要表现在如下方面：1）日志数量巨大。大型软件系统每天可以产生 TB 数量级大小的日志，逐条分析日志内容会对日志分析系统造成巨大压力。2）日志结构不固定，并且可能不完整。日志的有效内容（payload）并不遵循特定的格式，在系统高负载的情况下日志内容可能出现丢失，给日志的自动化处理带来困难。3）不同系统产生的日志内容差异巨大，通用的日志监控系统存在检测准确率不高的问题。
我们针对以上这些问题进行了研究，经过实验，提出了基于日志监控的行为异常检测技术，并且实现了相应的日志监控系统。本文的研究工作主要体现在以下几个方面：
1.提出了基于日志标准化和层次聚类的日志预处理方法。首先对日志信息进行正规化处理，然后采用自底向上层次聚类算法，基于日志有效内容的相似度对日志进行聚类。
2.提出了基于行为异常的通用日志异常检测算法。从聚类后的日志中提取出特有行为模式，基于行为模式的异常指数和相似度等特征对日志序列进行异常检测，预测系统状态。
3.设计实现了基于行为异常检测的日志监控系统。通过训练得到的行为模型，
对日志流进行实时高效地分析，帮助管理人员有效监控和维护生产环境。
关键词：日志监控、异常检测、层次聚类、异常连续子序列
第一章 绪论1.1 研究背景及意义
1.2 国内外研究现状
1.2.1 关于日志预分析处理的研究
1.2.2 关于日志异常检测的研究
1.2.3 现有的日志监控解决方案
1.3 本文研究内容和结构安排
1.3.1 研究内容
1.3.2 文章结构安排
第二章 相关技术概念
2.1 日志概述
2.1.1 日志定义
2.1.2 日志的功能
2.1.3 日志的特点
2.2 日志监控
2.2.1 日志收集
2.2.2 日志存储
2.2.3 几种开源日志系统
2.2.4 常用日志分析方法
2.3 日志模板抽取技术研究现状
2.3.1 基于聚类思想的日志解析
2.3.2 基于启发式的日志解析
2.3.3 对日志模板抽取的其他研究
2.4 日志异常检测技术研究现状
2.4.1 基于文本特征建模的日志异常检测
2.4.2 基于序列建模的日志异常检测
2.4.3 特定应用系统的日志异常检测
2.5 日志异常诊断技术研究现状
2.5.1 用于诊断异常原因
2.5.2 用于理解系统行为
2.5.3 用于因果关系推断
2.6 应用系统研究现状
2.7 本章小结
第三章 基于层次聚类的日志数据预处理算法研究
3.1 引言
3.2 数据清洗
3.3 日志数据聚类方法分析
3.4 基于层次聚类的日志数据预处理框架
3.5 簇间相似度的计算
3.6 最优聚类粒度的计算
3.7 数据集的获取
3.8 实验及结果分析
3.9 本章小结
第四章 基于行为序列的的日志异常检测算法研究
4.1 连续子序列问题
4.1.1 基于多变量连续子序列的日志异常检测
4.1.2 基于滑动窗口的数据流子序列提取
4.1.3 连续异常子序列的异常检测
4.2 基于行为序列的日志异常检测算法设计
4.2.1 训练数据集行为序列划分
4.2.2 基于频率序列的日志检测
4.2.3 日志异常状态的判断
4.3 实验结果对比与分析
4.4 本章小结
第五章 基于行为序列的的日志异常检测系统的设计
5.1 系统的总体设计
5.2 系统框架设计
5.3 系统核心模块的设计
5.3.1 日志数据采集模块
5.3.2 日志存储模块
5.3.3 日志分析模块
5.3.4 前端展示模块
5.4 本章小结
第六章 全文总结与展望