第一章 绪论
1.1 论文的研究背景和意义
随着信息时代化的到来，电子商务也随之流行开来，相应的产品和服务层出不穷，根据一份大数据报告预测：5 年后的全球的数据新增总量将是 2018 年的 5 倍以上，将达到175ZB[1]。数据蕴藏了丰富的价值，将推进人类社会的变革，但是也产生了信息超载的问题，对于用户而言，很难处理提供的大量信息，以及提取对自己有益的数据。推荐系统作为缓解信息超载的有效方法，发挥着越来越重要的作用，它可帮助用户根据他们的喜好、需求和过去的购买行为在平台上展示他们可能感兴趣的产品或服务[2]。如今，推荐系统成为日常生活中不可缺少的部分，例如该系统可以帮助用户找到感兴趣的电影的同时，也使得相关类型的电影精确地推荐给用户。
在淘宝、亚马逊等在线购物平台上，不断有大量的产品和服务来满足潜在的多样化需求。与此同时，对于购物者来说，在线购物平台有着成千上万的产品供用户挑选购买，因此从当中检索到满意的产品和服务是非常耗时的。如何更好的推广产品，并减少用户花费在检索上的时间，得到一个性能良好的推荐系统是当前亟待解决的问题[3]。推荐系统的性能主要取决于推荐算法的好坏，传统推荐算法大致分为基于协同过滤的推荐方法、基于信息内容的推荐方法和基于混合推荐的方法[4]。协同过滤是目前市场上主流的商品推荐模式，它侧重于通过历史记录对用户偏好和商品特性进行适当的建模。尽管协同过滤技术用于大多数应用中表现了良好的性能，但是稀疏性、冷启动等仍是面临的重大挑战。
本文将对基于协同过滤的推荐模型进行研究，针对推荐精度低及推荐物品单一性的问题，提出了一种基于 Skip-gram 项目嵌入和加权损失函数的深度神经网络的推荐模型(Deep Neural Network Recommendation Model, DSM)。DSM 模型采用 3 层 ReL U 层来对输出向量进行回归，在没有使用其他附加信息的前提下提高了推荐精度，创新地将 Skip-gram 项目嵌入加入到推荐模型中，将每个物品表示为一个稠密的向量，解决了计算量大的问题；而后结合加权损失函数平衡了历史评分数据集中物品的受欢迎程度，保证了推荐物品的新颖性。DSM 模型仅使用评分矩阵提取物品的显式特征，忽略了隐式特征的提取，于是本文提出第二个模型，融合评论文本的隐因子和评分矩阵的显式因子的深度模型(Depth Model Combining Review Text And Rating Matrix, ELM)，ELM 模型能够提取评论文本和评分矩阵的深层次特征，并融合这些特征进行评分预测，进一步提升了推荐精度和准确性。
.............................
1.2 推荐系统研究现状
协同过滤概念第一次在1990 年由 SuX 等人提出[5]，由协同过滤引申出来的推荐系统成为一门重要的学科，受到社会各界的广泛关注。传统的协同过滤算法主要包括基于邻域的协同过滤技术和基于模型的技术，目前国内外研究学者们尝试从这两个角度提高推荐算法的精度，推动了推荐系统的发展。
基于邻域的协同过滤算法主要是通过对用户和物品的评分矩阵来计算出两个用户之间与物品之间的相似程度，从而对相似程度的信息进行了个性化的推荐。基于模型的技术是为用户或物品构建独立的模型，模型输入用户对物品的评分，即用户的评分向量或物品的被评分向量，利用深度学习技术处理评分向量，从而得到用户或物品的隐表示；使用逐点损失和成对损失等类型的损失函数构建目标优化函数进行优化，最后给用户进行物品的推荐。Covington 等人[6]提出面向用户影响的深度协同过滤模型，采用了经典的信息检索二分法，由两个单独的模型组成：深度候选生成模型和深度排序模型，前者可生成视频的候选集，后者将候选集进行排列，使用迭代产生多层全连接神经网络，将候选集输入到神经网络中学习用户的特征向量，但是该模型使用了许多附加信息，导致计算量大且精度较低。与文献[6]类似，Zanotti 等人[7]利用 Word2Vec 模型 [8]学习多个数据源的特征信息，从而得到数据之间的关系，包括用户对物品偏好的评分以及用户对物品的注意力，提供了丰富的分布式表示，并根据得到的信息进行实证评估，将其输入到协同过滤模型中去预测用户对某个物品的评分，但未考虑物品冷启动问题。为处理物品冷启动问题，Wang 等人[9]提出了一个基于贝叶斯的协作深度学习的模型，使用降噪自动编码器[10]学习用户对物品的深层次特征，再通过协作主题回归[11]将不同数据源的特征与贝叶斯模型结合起来，进行评分预测。类似的，Wei 等人[12]则是将上述两种方法结合起来，使用 Word2Vec 模型和堆栈降噪自动编码器学习物品的深层次特征，最后融合矩阵分解模型 timeS VD++[13]进行评分预测。
.....................................
第二章 推荐系统研究概述
2.1 推荐系统概述
推荐系统根据用户或者物品的信息推荐用户有购买欲望的物品，而信息是以爆炸式的方式增长，因此个性化推荐[24]是优化用户体验的基本策略，从而防止用户过度选择。它区别于搜索引擎，不需要用户在搜索框内输入精确的关键词寻找物品，它只需要在特定的推荐算法中输入用户的行为数据和物品的信息，输出个性化的推荐物品列表，该列表是用户有购买欲望的物品，即具有潜在偏好的物品。推荐系统的主要任务是使用大数据的方式建立用户的历史行为与物品的联系[25]，通过获取用户的基本信息、物品的特征信息以及用户对物品的偏好进行推荐。推荐系统的通用模型如图2.1所示。
(1) 存在日志中的用户的行为信息。它可分为用户的显性反馈行为信息和隐性反馈行为信息，显性反馈行为信息反映了用户对物品偏好行为，例如亚马逊网站中用户对物品的评分以及豆瓣电影的星级评分机制，可明确区分正负样本；隐性反馈行为指的是用户不明确的表示自己的偏好，例如在淘宝APP中商品的历史浏览记录以及在音乐软件中的听歌日志。
(2) 用户的标签数据。标签分为作者或者专家对物品输入的标签以及普通用户对物品输入的标签，不仅表达了物品的语义而且还描述了用户的兴趣。基于标签的推荐系统[26]算法分为三个步骤，首先统计用户经常使用的标签，再针对这些标签过的物品进行统计和排序，最后针对特定的用户，找到他经常使用的标签，将此标签最多的物品推荐给该用户。
(3) 上下文信息。它包含用户在某地点某时间某个心情登陆推荐系统的状态，分为时间上下文信息和地点上下文信息[27]。时间上下文信息属于推荐系统的实时性，根据不断变化的用户兴趣实时响应用户的行为，从而满足用户的多元化需求；在用户进入系统时，根据用户当前时间点的行为生成推荐列表，还需要考虑多样化，平衡用户在系统的长期行为和近期行为，既不能完全推荐近期行为所表达的物品，又要让推荐列表反映用户近期兴趣的变化，保证推荐列表对用户行为预测的持续性。地点上下文信息与用户偏好相关性体现在兴趣本地化和活动本地化，不同地区的用户兴趣受当地文化的影响存在着很大的差别，基于地点的推荐需要考虑推荐地与用户活动区域的距离，不能推荐距离过大的地方，这一点适用于餐厅推荐等。
...................................
2.2 传统的推荐系统方法
推荐系统的概念在1992年首次被Tapestry提出[29]，在这20多年里，学者们不断研究和改进推荐系统的方法，因为推荐方法的性能是决定推荐系统预测结果的重要因素。推荐系统方法可分为基于协同过滤的推荐方法，基于内容的推荐方法和混合推荐方法。
............................
第三章 结合 Skip-gram 和加权损失函数的深度神经网络推荐模型 ............... 19
3.1 引言 .................................. 19
3.2 DSM 模型架构 .................................. 19
第四章 融合深度情感分析和评分矩阵的推荐模型 ............................. 35
4.1 引言 ........................................ 35
4.2 ELM 模型结构 ........................................... 35
第五章 结 论 ................................... 48
5.1 本文工作总结 ..................................... 48
5.2 研究展望 ......................................... 49
第四章 融合深度情感分析和评分矩阵的推荐模型
4.1 引言
在第三章中，通过结合 Skip-gram 项目嵌入和加权损失函数的推荐系统，得到了一个性能较好的推荐模型 DSM。该模型利用 Skip-gram 进行项目嵌入得到更稠密的表示向量，减少了计算量，并且使用加权损失函数训练深度神经网络的参数，平衡了推荐物品的受欢迎程度，保证了新颖性。 但是模型只使用了评分矩阵显式特征，忽略了隐式特征的提取，它会限制模型的有效性。为了提取隐式特征，有大量研究学者使用文本评论信息来提高评分预测性能，Chong等人[22]提出了评论文本结合评分矩阵的模型 NARRE，该模型主要探讨评论的有用性，使用 Word2Vec 模型[8]得到用户、物品评论的隐向量，通过并行的神经网络得到隐含因子特征，最后将隐含因子特征和评分矩阵作为隐含因子模型的输入，进行评分预测。
但是该模型中 Word2Vec 产生的词是静态的，不考虑上下文，而上下文可以解决一词多义的问题，因为相同的词在不同的语境中表示的信息是不一样的，因此会导致模型对单词语义的理解会有偏差。针对该问题，本章采取预训练的 Electra 模型[23]结合双向 LSTM 结构，Electra 模型类似于生成对抗网络（Generative Adversarial Networks, GAN），把生成式的掩码语言模型预训练任务改变为判别式的替换令牌检测任务，提升了预训练效率和运算效果。通过训练两个神经网络生成器和判别器得到输出序列，首先随机选择一组相对位置使用小型生成网络更换一些令牌(token)破坏输入，而后训练判别器可预测损坏的输入中的每个token 是否被更换过，每个文本中的单词会根据上下文信息而动态变化。
另外，在隐含因子模型中评论文本向量和评分矩阵产生了交互，会影响评论特征的向量。相反地，本章使用矩阵分解模型对评分矩阵进行特征分解，使评论文本和评分矩阵交互发生在融合层，从而提出一种融合评论文本和评分矩阵的深度模型( A Depth Model Combining Review Text And Rating Matrix, ELM)。该模型能够提取评论文本和评分矩阵的深层次特征，并进行结合，通过使用预训练的 Electra 模型取代之前的 Word2Vec 模型得到每条评论的隐表达，并结合深度情感分析及注意力机制实现从上下文语义层面对评论文本的分析。
............................
第五章 结论
5.1 本文工作总结
推荐系统问题自提出以来，一直是数据挖掘领域热门的研究课题。如何得到精确、高效的推荐算法是目前推荐系统技术发展中亟待解决的问题。本文通过对当前推荐系统方法的总结，分析了推荐系统所存在的问题，提出了两种创新的并且效果较好的推荐模型，取得了一些突破性的进展，具体内容如下：
(1) 针对当前推荐系统方法与深度学习相关技术做了详细的阐述，帮助初学者快速了解推荐系统的经典方法。首先对推荐系统的发展历程做了一个回顾，分类介绍了推荐系统中三种常用方法的定义以及实现手段，分别是基于协同过滤的推荐方法、基于内容的推荐方法以及混合推荐方法。在基于协同过滤的推荐方法中，又可以分为基于用户的协同过滤推荐方法、基于物品的协同过滤推荐方法和基于模型的协同过滤推荐方法，分别对这三种方法进行说明，分析、对比了三类基于协同过滤方法的优缺点。针对常用于推荐系统的深度学习技术进行概述，对涉及自然语言处理的主流技术进行介绍。最后简单阐述了衡量推荐系统中推荐算法的评价指标，包括用户满意度、预测准确度和多样性等。
(2) 针对网络推荐系统中传统的协同过滤技术在实际应用中存在数据稀疏、导致准确率低、推荐单一性等问题，提出一种结合 Skip-gram 项目嵌入和加权损失函数的深度神经网络的推荐模型 DSM。首先采用了 3 层 ReL U 层对输出向量进行回归，在未使用附加信息的前提下提高了推荐精度；其次，利用 Skip-gram 进行项目嵌入得到更稠密的表示向量，减少了计算量；并且使用加权损失函数训练深度神经网络的参数，平衡了推荐物品的受欢迎程度，保证了新颖性；最后，在 APP 数据集和 Last.fm 数据集的实验结果表明，DSM 模型在推荐应用程序和歌曲时，准确性和多样性方面相比现有方法具有一定的提高。
(3) 针对仅使用评分数据限制模型有效性的问题，为进一步提高推荐精度，本文提出一个评论文本和评分矩阵交互的深度模型 ELM，该模型能够提取评论文本的深层次特征，并结合评分矩阵的特征进行评分预测；其次，通过使用预训练的 Electra 模型得到每条评论的隐表达，并结合深度情感分析及注意力机制实现从上下文语义层面对评论文本的分析，解决了短文本的语义难以分析的问题；同时，在融合层模块中，用户（物品）评论和评分矩阵进行交互，最终预测出用户对商品的评分；最后，在 6 组数据集上，采用均方误差MSE 进行性能对比实验，实验结果表明本文模型性能优于其他系统，且平均预测误差最大降低了 12.821%，该模型适用于向用户推荐精确的物品。
参考文献（略）