第一章 绪论
1.1 引言
根据美国联邦通信委员会（FCC）频谱测量工作组的测量结果[1]：许多宝贵的频谱资源都没有得到合理利用而被浪费。跟据测量报告[2]，美国从 2004 年初到2005 年末，3GHz 以下的频段利用率仅为 5.2%。这表明造成频谱匮乏的主要原因之一是频谱管理策略的不合理，这种传统的静态管理方式使得频谱资源利用率低下。这种方式下持有频谱使用执照的用户拥有对频谱的所有及使用权，即便不使用该频谱，其他无线网络用户也无法使用该频谱，这种专用权利就造成了频谱的浪费。各界致力于寻找更加有效的频谱管理策略和技术。动态频谱技术吸引了人们的注意，其主要思想是：在不干扰授权系统的前提下，机会地使用授权频段，使得拥有认知能力的无线设备能够接入空闲的授权频段。这种技术以全新的方式和角度改变了频谱管理策略，它突破了传统静态频谱分配策略的局限性，使得无线设备能够感知频谱并根据感知结果合理利用暂未使用的频谱。
1.2 认知无线电概述
考虑到频谱资源的逐渐紧缺，美国联邦通信委员会开始再次研究频谱管理策略，其重点在于提高频谱利用率以及通信的可靠性，于 2003 年对 CR 做出了相对上述两种定义更简单的定义[6]：CR 是指基于与环境的交互状态，以软件定义无线电（SDR）设备为其主体，改变其相关发射参数的无线电设备。FCC 建议统称所有具备自适应（adaptive）频谱感知能力的无线电为“认知无线电”。FCC 对认知无线电的定义被广泛采纳，目前大部分的认知无线电研究都是基于这种定义的。
…………..
第二章 基于 Q 学习的多信道有记忆动态频谱接入算法
2.1 引言
现实中，非授权用户在物理层的频谱感知能力是有限的，因为它们不易区分行为（如频谱接入）是来自授权用户还是非授权用户。而现有的认知无线电 MAC层研究中通常假设频谱感知是完美的，即非授权用户总是能够检测出授权用户的出现（如文献[38]、[39]）。文献[16]中放宽了对完美频谱感知的假设，考虑了物理层的感知错误，但是要求授权用户信号的统计特性与非授权用户的统计特性有所区分。此外，现有很多研究中假设系统有中心控制器或者专用控制信道（如文献[37]、[38]）。文献[36]中曾经指出，在认知无线电网络中，如果协议需要广播信息，就会由于缺乏一个在授权用户回到信道时必须腾出的信道作为可靠控制信道而导致一系列问题。
2.2 Q 学习理论基础
增强学习的基本原理是：如果 Agent 通过采取某个行为而获得环境奖赏，那么之后的行动中 Agent 采取这个行为的策略次数将会增加。增强学习中将 Agent的学习看作一个不断试错的过程。文献[41]中对增强学习给出了定义，定义中指出增强学习的两个特点：Agent与环境交互，且组成了“Agent+环境”形式的动态系统；增强信号通常以奖赏或者惩罚的形式来驱使 Agent 改进其行为。
增强学习 Agent 通常采用 MDP 作为其外部模型，其研究大都建立在 MDP 的理论框架之上。MDP 是决策主体持续观察某随机系统并惯序地做出决定，这个系统具有马尔科夫性。马尔科夫性是指随机过程的未来发展规律与历史无关，仅与当前观察有关的性质，即状态转移概率无后效性。
……………
第三章 探索利用均衡多信道有记忆动态频谱接入算法.......................44
3.1 引言 .............................................44
第四章 动态频谱共享网络仿真平台设计.............................60
4.1 网络仿真场景 ..........................................60
第五章 结束语..........................................80
5.1 全文总结........................................80
5.2 下一步研究计划 .......................................80
第四章 动态频谱共享网络仿真平台设计
4.1 网络仿真场景
动态频谱共享系统包含两种类型的无线网络，即授权用户网络和非授权用户网络。对非授权用户来说，能否使用频谱是由授权用户当前使用的频谱情况所决定的。系统的一个明显特征就是非授权用户拥有感知和能够在不同信道之间灵活切换的能力。
动态频谱接入统模型如图 4-1 所示，在此模型中，假设一个小区有 N 个信道供授权用户和非授权用户使用，对授权用户而言非授权用户是透明的，即授权用户不知道非授权用户的存在，授权用户按照没有非授权用户的方式使用信道。当授权用户到达系统，它将占用一个空闲信道，若所有信道都被授权用户占用，则它被阻塞。非授权用户检测授权用户的离开和到达，检测机制可以与其他非授权用户协同检测，也可以通过与 AP2 交换信息来实现。
4.2 模块功能划分及实现
授权用户模拟 TV 频段，包括 8 条信道，将每条信道的使用状况建模为独立同分布的on/off 模型，如果授权用户正在使用该信道，则为on状态，否则为off 状态。在off 状态时非授权用户可以择机使用该信道。每个信道上的 状态和 状态是周期独立的。
..............
第五章 结束语
5.1 全文总结
本文主要研究多信道环境下基于学习算法及有记忆认知 MAC 协议的认知无线电系统动态频谱接入算法。主要针对认知用户在物理层频谱感知局限性以及现有研究中基于中心控制器或控制信道假设的极大代价进行研究。全文的主要工作总结如下：对认知无线电技术的概念及动态频谱接入技术概念及其发展背景、研究现状等进行简单介绍，并介绍几种经典的动态频谱接入策略和认知无线电 MAC 层协议。将学习算法应用到动态频谱接入中，通过学习算法将单信道环境下的有记忆认知 MAC 协议扩展至认知无线网络中多信道环境下，在完全分布式环境中提出两种复杂度较低且硬件代价小的基于学习算法的多信道有记忆动态频谱接入算法。通过将 Q 学习算法映射至动态频谱共享系统中，提出基于 Q 学习的多信道有记忆动态频谱接入算法，并对算法进行仿真分析，仿真结果表明该算法能够在有限频谱感知条件下达到较高信道利用率。
5.2 下一步研究计划
本文所提两种算法都假设公平等级为固定值，而非授权用户业务对 QoS 的需求不同时，应当根据业务特性选取不同的值，因此今后需要从公平等级的取值着手，进一步优化算法的性能。 本文牺牲了部分授权用户的性能，虽然牺牲很小但也是迫切需要改进的，可以从信道的选择方面入手，采用预测的方法来提前预测授权用户的行为而减少对于授权用户的干扰。
......................
参考文献（略）