第一章 绪论
1.1 研究背景及意义
在大数据时代，推荐系统分析用户偏好，从而准确定位用户的个性化需求，是解决信息过载问题的重要工具。推荐系统的概念提出后得到了广泛应用，例如电子商务推荐[1]、音乐推荐[2]和微博推荐[3]等，让用户获得了满意的推荐服务。在个性化推荐中，对用户偏好进行分析是关键一步，可以根据用户偏好对下一步进行预测。大多数方法根据用户对项目的历史评分数据计算相似度，计算时不区分不同时间历史评分的重要程度，这影响了推荐结果的准确性。另外传统推荐方法获得的用户评分信息量是非常少的，评分矩阵非常稀疏。新用户到来时没有行为数据，无法根据其历史行为预测其偏好，会产生冷启动问题。因此传统的推荐技术在描述和跟踪用户偏好方面还存在重大的挑战，用户偏好在实际生活中会随着外在生活环境和个人内心的变化而发生改变[4]。用户感兴趣的主题在一段时间内不会有太大变化，但是在短时间内用户的关注点可能不同。例如某用户比较喜欢“漫威”主题，在近期内他对漫威模型比较感兴趣，而一周后可能更关注漫威周边的其他东西，像印有美国队长的手机壳等。所以个性化的推荐系统不应该只考虑用户的历史稳定偏好，还应该考虑当前的消费动机，通过区别探究不同时期的用户行为给出推荐结果，如图 1-1 所示。作为帮助用户过滤信息的推荐系统，为了提供高质量的推荐服务，对用户历史偏好以及偏好变化进行探究具有非常重要的研究意义和应用价值。
.........................
1.1 研究背景及意义
在大数据时代，推荐系统分析用户偏好，从而准确定位用户的个性化需求，是解决信息过载问题的重要工具。推荐系统的概念提出后得到了广泛应用，例如电子商务推荐[1]、音乐推荐[2]和微博推荐[3]等，让用户获得了满意的推荐服务。在个性化推荐中，对用户偏好进行分析是关键一步，可以根据用户偏好对下一步进行预测。大多数方法根据用户对项目的历史评分数据计算相似度，计算时不区分不同时间历史评分的重要程度，这影响了推荐结果的准确性。另外传统推荐方法获得的用户评分信息量是非常少的，评分矩阵非常稀疏。新用户到来时没有行为数据，无法根据其历史行为预测其偏好，会产生冷启动问题。因此传统的推荐技术在描述和跟踪用户偏好方面还存在重大的挑战，用户偏好在实际生活中会随着外在生活环境和个人内心的变化而发生改变[4]。用户感兴趣的主题在一段时间内不会有太大变化，但是在短时间内用户的关注点可能不同。例如某用户比较喜欢“漫威”主题，在近期内他对漫威模型比较感兴趣，而一周后可能更关注漫威周边的其他东西，像印有美国队长的手机壳等。所以个性化的推荐系统不应该只考虑用户的历史稳定偏好，还应该考虑当前的消费动机，通过区别探究不同时期的用户行为给出推荐结果，如图 1-1 所示。作为帮助用户过滤信息的推荐系统，为了提供高质量的推荐服务，对用户历史偏好以及偏好变化进行探究具有非常重要的研究意义和应用价值。
.........................
1.2 国内外研究现状
推荐过程的核心是定位用户感兴趣的内容，能否准确提取隐藏的用户偏好是衡量推荐系统优劣的关键。现有的工作可以归结为两类：第一类是一般的推荐算法，比如协同过滤[5]，矩阵分解[9]、BPRMF[8]等。大多数方法都集中在提取用户和项目的特征并计算相似度，忽略了隐藏在交互序列中用户偏好的动态变化。另一类是基于历史交互序列的推荐[1][10]。用户和项目之间的交互通过时间戳记录下来，利用逐渐累积下来的数据可以对序列建模。
在协同过滤推荐中，矩阵分解是最具代表性的方法，其核心思想是将用户信息转变成一定维度的向量，并保持和项目信息的维度相等[11] [12]。但是通过矩阵分解方法学习得到的推荐效果不稳定。在许多实际场景中，为了获得用户偏好，可以根据用户历史交互数据进行时序动态的建模[13][14]。例如，熊等人[15]引入其他时间因素并建立贝叶斯概率张量分解方法对时间变化建模。He 等人[14]提出了一种将马尔可夫链与相似性融合的序列推荐方法。
随着深度学习在各方面的成功发展，在推荐领域该技术也受到越来越多的关注[16][17]。Salakhutdinov 等[5]首次在电影推荐中运用了深度学习方法，在协同过滤任务中利用受限的玻尔兹曼机替代传统的矩阵分解方法。近几年结合不同的神经网络形成了更强大的混合推荐模型，在表示学习和基于深度神经网络的序列建模中有着广泛应用。例如，Hidasi 等人[10]首先将循环神经网络（Recurrent Neural Network，RNN）应用在基于序列的推荐，对整个序列进行建模。Quadrana 等[18]重点关注一些基于序列的推荐场景，并提出了跨序列信息传递的分层循环神经网络。王等人[19]引入了分层表示模型的双层网络，以捕获用户的一般偏好和序列行为，但是该模型不包含任何非线性变换。最近唐等人[20]提出了一种卷积序列建模方法，用水平和垂直卷积层来学习用户的瞬时轨迹，该模型具有更好的性能[21]，但不适用于稀疏数据集的推荐。另外，卷积神经网络（Convolutional Neural Networks，CNN）和 RNN 需要从大量数据中学习才能得出有意义的结果，而数据稀疏性使得模型学习变得困难。尽管这些模型已经考虑了用户的序列信息，但是对于用户历史行为序列中隐藏的动态偏好仍然未有很大的开发。
推荐过程的核心是定位用户感兴趣的内容，能否准确提取隐藏的用户偏好是衡量推荐系统优劣的关键。现有的工作可以归结为两类：第一类是一般的推荐算法，比如协同过滤[5]，矩阵分解[9]、BPRMF[8]等。大多数方法都集中在提取用户和项目的特征并计算相似度，忽略了隐藏在交互序列中用户偏好的动态变化。另一类是基于历史交互序列的推荐[1][10]。用户和项目之间的交互通过时间戳记录下来，利用逐渐累积下来的数据可以对序列建模。
在协同过滤推荐中，矩阵分解是最具代表性的方法，其核心思想是将用户信息转变成一定维度的向量，并保持和项目信息的维度相等[11] [12]。但是通过矩阵分解方法学习得到的推荐效果不稳定。在许多实际场景中，为了获得用户偏好，可以根据用户历史交互数据进行时序动态的建模[13][14]。例如，熊等人[15]引入其他时间因素并建立贝叶斯概率张量分解方法对时间变化建模。He 等人[14]提出了一种将马尔可夫链与相似性融合的序列推荐方法。
随着深度学习在各方面的成功发展，在推荐领域该技术也受到越来越多的关注[16][17]。Salakhutdinov 等[5]首次在电影推荐中运用了深度学习方法，在协同过滤任务中利用受限的玻尔兹曼机替代传统的矩阵分解方法。近几年结合不同的神经网络形成了更强大的混合推荐模型，在表示学习和基于深度神经网络的序列建模中有着广泛应用。例如，Hidasi 等人[10]首先将循环神经网络（Recurrent Neural Network，RNN）应用在基于序列的推荐，对整个序列进行建模。Quadrana 等[18]重点关注一些基于序列的推荐场景，并提出了跨序列信息传递的分层循环神经网络。王等人[19]引入了分层表示模型的双层网络，以捕获用户的一般偏好和序列行为，但是该模型不包含任何非线性变换。最近唐等人[20]提出了一种卷积序列建模方法，用水平和垂直卷积层来学习用户的瞬时轨迹，该模型具有更好的性能[21]，但不适用于稀疏数据集的推荐。另外，卷积神经网络（Convolutional Neural Networks，CNN）和 RNN 需要从大量数据中学习才能得出有意义的结果，而数据稀疏性使得模型学习变得困难。尽管这些模型已经考虑了用户的序列信息，但是对于用户历史行为序列中隐藏的动态偏好仍然未有很大的开发。
............................
第二章 相关理论与技术
2.1 常用的推荐算法
推荐系统根据用户的历史行为数据提取用户的潜在兴趣偏好[9][26]。常见的推荐方法分类如图 2-1 所示。
第二章 相关理论与技术
2.1 常用的推荐算法
推荐系统根据用户的历史行为数据提取用户的潜在兴趣偏好[9][26]。常见的推荐方法分类如图 2-1 所示。
2.1.1 基于内容的推荐算法
基于内容的推荐为了获得用户偏好与项目内容的对应关系，对项目属性进行相似度计算，并向用户推荐其他项目。如图 2-2 所示，给出三个电影及其类型，假设用户 A 与电影A 曾存在交互，基于内容的推荐算法通过分别计算电影 A 与电影 B 和电影 C 之间的相似度，将类型是“爱情”、“浪漫”的电影 C 向用户 A 推荐。虽然该方法评分数据较少，也没有考虑用户项目评分，但最终的推荐结果并没有受到影响。另外也不存在冷启动问题，刚加入的新项目是通过提取特征进行相似度计算。
基于内容的推荐为了获得用户偏好与项目内容的对应关系，对项目属性进行相似度计算，并向用户推荐其他项目。如图 2-2 所示，给出三个电影及其类型，假设用户 A 与电影A 曾存在交互，基于内容的推荐算法通过分别计算电影 A 与电影 B 和电影 C 之间的相似度，将类型是“爱情”、“浪漫”的电影 C 向用户 A 推荐。虽然该方法评分数据较少，也没有考虑用户项目评分，但最终的推荐结果并没有受到影响。另外也不存在冷启动问题，刚加入的新项目是通过提取特征进行相似度计算。
..........................
2.2 基于循环神经网络的推荐
循环神经网络（Recurrent Neural Network，RNN）是以序列信息为基础的人工神经网络。在循环神经网络中，每一层的输入数据都会进行同样的操作，并且其输出与前一状态是有联系的。在许多推荐场景中，用户的交互历史数据可以看成抽象序列，而循环神经网络可以将隐藏在序列中的偏好信息提取出来。随着 Google 等公司成功将 RNN 技术引入到推荐领域，越来越多的研究者将 RNN 与推荐系统相结合，并获得了很大进展。
循环神经网络（Recurrent Neural Network，RNN）是以序列信息为基础的人工神经网络。在循环神经网络中，每一层的输入数据都会进行同样的操作，并且其输出与前一状态是有联系的。在许多推荐场景中，用户的交互历史数据可以看成抽象序列，而循环神经网络可以将隐藏在序列中的偏好信息提取出来。随着 Google 等公司成功将 RNN 技术引入到推荐领域，越来越多的研究者将 RNN 与推荐系统相结合，并获得了很大进展。
2.2.1 长短期记忆网络
LSTM 是由 Hochreiter 等人提出的一种典型的循环神经网络，可以解决传统 RNN 面临的梯度爆炸和梯度消失问题[27]。在标准的循环神经网络中，RNN 由于“梯度消失”问题不能利用间隔很长的信息，而 LSTM 在设计上明确避免了长期依赖问题，这主要归功于 LSTM中的“门”结构（输入门、遗忘门和输出门）可以控制信息在细胞状态之间的传递，有利于远距离信息的记忆。标准的 RNN 结构只是不断重复 tanh 层（如图 2-7），而在 LSTM 中重复模块包括四个特殊的结构，如图 2-8 表示其中一个细胞状态（cell）。
LSTM 是由 Hochreiter 等人提出的一种典型的循环神经网络，可以解决传统 RNN 面临的梯度爆炸和梯度消失问题[27]。在标准的循环神经网络中，RNN 由于“梯度消失”问题不能利用间隔很长的信息，而 LSTM 在设计上明确避免了长期依赖问题，这主要归功于 LSTM中的“门”结构（输入门、遗忘门和输出门）可以控制信息在细胞状态之间的传递，有利于远距离信息的记忆。标准的 RNN 结构只是不断重复 tanh 层（如图 2-7），而在 LSTM 中重复模块包括四个特殊的结构，如图 2-8 表示其中一个细胞状态（cell）。
...........................
3.1 基于用户交互历史生成评分矩阵 ................................ 15
3.2 结合用户影响力选择目标用户近邻 ............................. 15
第四章 基于注意力机制的双向 GRU 神经网络推荐模型 ............................... 23
4.1 注意力机制 ..................................... 23
4.2 Att-BNN 模型框架 .......................... 24
第五章 基于用户长短期偏好和影响力的推荐模型 ................................. 39
5.1 基于 Transformer 的用户长短期偏好建模 ............................. 39
5.1.1 基于位置的项目嵌入表示 .................................. 40
5.1.2 基于 Transformer 的长期偏好建模 ................................. 41
第五章 基于用户长短期偏好和影响力的推荐模型
5.1 基于 Transformer 的用户长短期偏好建模
基于 Transformer 的用户长短期偏好建模的整体架构如图 5-2 所示。首先将用户历史交互数据输入到基于位置的项目嵌入层，得到带有位置信息的项目嵌入向量，并分别作为长期和短期偏好学习模块的输入。然后在长期偏好建模中，利用两层 Transformer 提取用户历史偏好，在保证模型准确率的基础上提高模型的效率。短期偏好学习利用自注意力机制，具体过程与 4.5.2 节一致，本节不再详细描述。
..........................
第六章 总结与展望
6.1 主要研究总结
本文主要研究基于用户偏好和用户影响力的推荐模型，具体围绕三个方面进行探究：如何利用深度神经网络处理用户历史行为序列，捕获用户隐藏的偏好；考虑实际情景中用户偏好随外界环境变化的特点，结合注意力机制和 GRU 神经网络捕获用户偏好变化轨迹；如何引入用户的影响力因素提高推荐任务的有效性。本文的主要研究内容如下：
（1） 首先对传统推荐算法的几种经典方法进行了总结，并进一步简单介绍了基于循环神经网络的推荐技术，分析了常用的用户影响力分析方法。
（2） 提出了一种基于用户行为分析和度中心影响力的改进协同过滤推荐算法。引入适应用户偏好变化的时间函数和网络用户的度中心影响力因素，将基于时间权重的评分矩阵与影响力矩阵相融合，解决了计算用户相似度太过单一的问题，提高了推荐结果的准确性。实验结果表明，本文提出的推荐算法能够有效降低数据集的稀疏性和冷启动问题，相比传统的协同过滤算法具有更好的推荐质量。
（3） 提出了一种基于注意力机制的双向 GRU 神经网络推荐模型。传统方法在预测用户偏好时面临数据稀疏和冷启动问题，考虑到深度学习技术可以有效捕获用户与项目的非线性关系，论文结合注意力机制和双向 GRU 神经网络建模用户偏好及其动态变化。首先，建立双向 GRU 神经网络解决序列中的长序依赖问题，并利用注意力机制对用户偏好变化建模，发现用户的潜在偏好；另外基于自注意力学习用户短期的交互轨迹，用以区分每个潜在特征或因素的重要性；最后结合长期和短期偏好表示预测下一行为。实验结果表明利用基于注意力机制的双向 GRU 网络能够有效的对用户长期和短期偏好建模，提高推荐的可解释性，并且与其他比较模型相比，可以更好的捕获用户偏好，在不同评价指标上都表现出更优的性能。
参考文献（略）