本文是一篇工程硕士论文，本研究针对毫米波多用户场景下全单元反射和透射双工模式RIS存在的波束对准问题，提出了一种基于可能性C均值聚类(Possibilistic C-Means ClusteringAlgorithm，PCM)和双延迟深度确定性策略梯度(Twin Delayed Deep DeterministicPolicy Gradient，TD3)深度强化学习的波束成形算法。
第1章绪论
1.1研究背景及意义
随着无线通信技术的快速发展，无线用户数量剧增，这给无线技术本身以及全球无线服务运营商带来了前所未有的挑战。5G标准的提出将5G从理论转化为实用，为5G商用化奠定了基础，同时通信技术也迎来了爆炸式的发展。与上一代通信技术相比，5G不仅要提高数据传输速率，还要实现低延迟，高服务质量和高通信可靠性。随着5G技术的发展，各方都更加关注于将5G技术应用到实际当中，关注如何发展可持续的商业模式。因为5G需要促进移动通信与传统产业的深度融合，所以5G的商用模式不仅涉及应用层面，还涉及终端、网络、产品、云边平台和内容层面[1]。毫米波(millimeter wave，mmWave)作为5G关键技术之一，也受到了很大的关注，大量研究者针对毫米波的传播特性、信道模型等做出了研究[2-5]。由于5G大规模商用，全球业界已开启对下一代移动通信技术即第六代移动通信系统(6th Generation mobile communication systems，6G)的研究探索。6G将实现从服务于人、人与物，到支撑智能体高效联接的跃迁，通过人机物智能互联、协同共生，满足经济社会高质量发展需求，服务智慧化生产与生活，推动构建普惠智能的人类社会[6]。mmWave频段由于其丰富的频谱资源，能够提供比传统低频段更大的通信带宽(1GHz或者更大)，同时具有更小的频谱干扰，成为未来5G、6G移动通信网络的核心技术。可重构智能表面(Reconfigurableintelligent surface，RIS)采用可编程新型亚波长二维超材料，对电磁波进行主动的智能调控，能够作为无线通信系统的中继使用，提升无线系统的性能，是6G的关键技术之一。
工程硕士论文怎么写
...........................
1.2国内外研究进展
目前，有关毫米波多用户以及RIS的研究不管是在硬件设计还是应用场景上都取得了很大的进展。关于毫米波多用户的研究主要集中在信道估计以及波束成形的设计上，以此来提升整个通信系统的性能。将RIS用于无线通信的研究主要集中在信道估计、波束成形以及物理安全方面，以下是关于毫米波多用户以及RIS波束成形的研究现状。
1.2.1毫米波多用户
mmWave系统中存在较大的路径损耗，穿透能力较弱，限制了信号的传播范围。为了解决毫米波系统存在的问题，文献[31]提出了一种基于离去角(Angle ofDeparture，AoD)和信道协方差信息(Channel Covariance Information，CCI)的波束成形算法，以此来提高mmWave系统中用户可实现和速率。文献[32]分析了mmWave通信系统的边缘可达和速率。文献[33]提出了一种新的波束选择方法，这种方法既能保证用户设备的服务质量，又能减少设备之间的干扰，克服了毫米波系统的高成本和复杂性。文献[34]研究了mmWave联合单播和多播系统的波束形成设计，提出了一种次优低复杂度混合零强迫(Zero-Forcing，ZF)波束形成方案。文献[35]研究了在5G毫米波大规模多输入多输出(Multiple Input MultipleOutput，MIMO)通信系统，提出了一种既能满足通信频谱效率和错误率要求又能降低天线侧混合波束形成算法的计算复杂度的方法。文献[36]将mmWave波束成形设计与深度学习相结合，为mmWave大规模MIMO混合波束形成设计创建了一个基于CNN的深度学习模型，该模型接受噪声信道状态信息作为输入，输出预编码器和组合器。同时为了降低方案的复杂度，采用了低精度权值和激活的量化CNN。
..........................
第2章毫米波与多模式RIS相关理论及基础技术介绍
2.2毫米波系统模型
波长为1到10毫米的电磁波称为毫米波，具有微波与远红外波两种波谱的特点。毫米波的频段在30-300GHz，在该频段中存在大的未被使用的带宽能够支持无线系统容量需求的增加，可以更好的满足高速率需求的场景。由于毫米波的波束比其他频段的微波更窄，因此具有更强的方向性。
2.2.1毫米波的传播特性
(1)高自由空间路径损耗
两根天线之间直接视距通信的自由空间路径损耗(FSPL)是毫米波射频(RF)通信的限制之一。
(2)大气衰减和漫反射
自然环境中存在许多表面，而这些表面对毫米波来说过于“粗糙”，比如树木，岩石等，这会导致漫反射的发生，从而降低毫米波的接收质量。毫米波的另一缺点是大气衰减。大气气体中导致毫米波额外衰减的主要成分是氧气和水蒸气。因此，毫米波的传播极大的依赖于天气情况。
(3)穿透深度有限
由于毫米波是波长为1到10毫米的电磁波，较短的波长使得毫米波不能深入或穿透大多数材料。
.....................
2.3多模式RIS理论
随着无线通信技术的发展，传统的只反射RIS在许多场景下都无法满足需求，因此对于RIS的研究也越来越深入。多模式RIS是可以同时实现透射与反射的RIS，相较于传统RIS其优点为：(1)扩大了信号覆盖的范围，实现了信号全空间覆盖。(2)修改了信号传播，提供了额外的自由度(Degree of reedom，DoF)，因此增加了设计的灵活性。(3)具有光学透明性。正是由于多模式RIS的这些优点，使多模式RIS能够在保证美观的同时提升通信系统的性能。下面将对多模式RIS的硬件设计与三种不同模式的RIS进行介绍。
2.3.1多模式RIS的硬件设计由于需要满足同时反射信号与透射信号，因此多模式RIS的硬件设计将比传统RIS更加复杂。多模式RIS的硬件设计主要有[28]：
1）使用PIN二极管来设计
多模式RIS，通过向PIN二极管施加不同的偏置电压来调谐相位和幅度响应。
2）使用天线来设计多模式RIS，每个天线赋能的多模式RIS单元由两个天线元件组成，它们通过可调谐延迟线连接。
3）使用石墨烯来设计多模式RIS，为了实现可重构性，单层石墨烯通过调节其导电性具有可调的反射和透射系数。
................................
第3章基于UMAP的部分单元反射和部分单元透射模式RIS波束成形研究..18
3.1引言.........................18
3.2系统模型.............................18
第4章基于AOA-PPO的全单元反射或全单元透射模式RIS波束成形研究....37
4.1引言.....................................37
4.2系统模型..............................37
第5章基于PCM-TD3的全单元反射和透射双工模式RIS波束成形研究........53
5.1引言..........................53
5.2系统模型..........................53
第5章基于PCM-TD3的全单元反射和透射双工模式RIS波束成形研究
5.2系统模型
工程硕士论文参考
本小节给出了利用TD3算法解决联合优化BS处与全单元反射和透射双工模式RIS波束成形算法的性能。本节设计的所有仿真实验均建立在笛卡尔坐标系上，并以3D坐标表示基站、RIS、用户的位置，单位为m。将基站的位置坐标为(0,0,20)，RIS的位置为(0,25,20)，用户随机分布在圆心为(0,20,0)，半径为5的圆形区域内。不做特殊说明的前提下，基站上的天线数N=6，RIS元件数量为M=30。为了不失一般性，假设用户有相同的QoS需求并且设min 0.1kR bits∕s∕Hz。TD3网络的学习率均设置为0.001。经验池大小设置为500，批训练数据样本数32，折现率设为0.99。在图5-4中，仿真对比了5种方法的算法性能，分别是：基于TD3优化算法(本文所提方法)、基于两层迭代优化算法[78]、基于AO优化算法[80]、随机相移的方案，以及没有RIS的情况。如图所示，我们研究了5种不同求解方法下发射功率随SINR变化的情况。从仿真结果可以看出相对于随机相移方案和没有RIS方案，其他方案均取得了较好的性能，并且其取得的发射功率相差较小。在性能较好的三种方案中TD3的优化算法略高于两层迭代算法和AO的优化算法。
............................
第6章结论
6.1论文研究内容总结
RIS是6G的重要组成部分，而多模式RIS扩展了传统RIS的信号覆盖范围。本文研究了多模式RIS辅助通信系统的波束成形设计，分别考虑了部分单元反射和部分单元透射模式RIS，全单元反射或全单元透射模式RIS，全单元反射和透射双工模式RIS辅助的下行链路传输。本文的主要工作归纳如下：
1.首先，针对部分单元反射和部分单元透射模式RIS下毫米波多用户场景存在的波束对准和功率分配问题，提出了一种基于流形的单元反射和部分单元透射模式RIS辅助NOMA波束成形算法。首先利用UMAP提取信道特征，再根据得到的特征对用户以及RIS元件进行聚类，最后通过联合BS处的主动波束成形以及单元反射和部分单元透射模式RIS处的被动波束成形使得用户的可实现和速率达到最大。仿真结果表明，全单元反射或全单元透射模式RIS-NOMA系统的性能优于传统的RIS辅助的NOMA系统。
2.其次，针对全单元反射或全单元透射模式RIS下毫米波多用户场景存在的波束对准和时间分配问题，提出了一种基于AOA-PPO的全单元反射或全单元透射模式RIS多用户波束成形算法。首先利用AOA对用户进行定位，再对用户进行轨迹预测，最后使用PPO算法来联合优化BS的主动波束成形与全单元反射或全单元透射模式RIS的被动波束成形。仿真结果表明，所提算法优于传统将变量解耦的方法，获得更好的性能。
参考文献（略）