强化学习论文分析3---蜂窝网络联合频谱和功率分配的深度强化学习--《Deep Reinforcement Learning for ......》
创始人
2024-01-17 12:48:35
0次

目录

  • 一、研究内容概述
  • 二、系统目标与约束
    • 1.系统描述
    • 2.系统目标
  • 三、DQN、DDPG网络设计
  • 四、性能表征

本文是对论文《Deep Reinforcement Learning for Joint Spectrum and Power Allocation in Cellular Networks》的分析，若需下载原文请依据前方标题搜索，第一作者为Yasar Sinan Nasir。

一、研究内容概述

本文作者联合使用DQN和DDPG强化学习方法，用于下行功率控制中的频带选择与能量分配。结果表明，该方法具有很好的收敛速度和泛化性能。

二、系统目标与约束

1.系统描述

在这里插入图片描述
如上图所示，整个功率分配系统有两部分组成，我们将其描述为顶层与底层。顶层是一个DQN网络，用于子带的选择。底层是一个DDPG网络，以顶层选择的子带作为输出，输出对应的功率分配值。

2.系统目标

在这里插入图片描述
系统的目标为最大化信道容量，信道容量由下式定义
在这里插入图片描述
其中在这里插入图片描述是频带所对应的SINR值，公式如下
在这里插入图片描述
公式中，在这里插入图片描述表示在t时刻发射机n的子带选择m(取值为0或1)。在这里插入图片描述表示在t时刻发射机n的发射功率。在这里插入图片描述表示高斯噪声功率值。在这里插入图片描述表示t时刻，在子带m上，发射机n到接收机l的信道增益。其具体展开如下
在这里插入图片描述
其中在这里插入图片描述为大尺度衰落，包含路径损耗和阴影衰落。在这里插入图片描述为小尺度瑞利衰落。本文假设大尺度衰落在所有时隙中保持不变。小尺度衰落继续展开为

在这里插入图片描述
其中在这里插入图片描述，在这里插入图片描述是依赖于最大多普勒频率fd的第一类零阶贝塞尔函数。在这里插入图片描述是具有单位方差的独立同分布的圆对称复高斯随机变量。

三、DQN、DDPG网络设计

四、性能表征

在这里插入图片描述
本文所提出的基于DQN与DDPG联合子带选择与功率分配模型，相较于传统的FP算法，具有更高的信道容量和值。随着系统链路规模的增大，本文所提出的算法仍能保持很好的收敛性和收敛速度。

上一篇：菩萨满慧夏雯永远在我心中

下一篇：Jinrige

相关内容

热门资讯

民国时期结婚证设计精美显示身... 民国时期结婚证设计精美显示身份地位(图)民国35年（1946年）大红富贵本式结婚证。从婚礼地点、规模...
Unity3D中项目打包And... Unity3D中项目打包Android平台包运行过程中抛出异常：JSON intege...
教师教学工作计划 教师教学工作计划教师教学工作计划1　　一、工作要点：　　本学期，以提高课堂教学效率为目的向课堂要质量...
QSS语法规则以及使用总结 目录1、引言2、加载方法3、选择器类别3.1通用选择器3.2类型选择器3.3类选择器3.4 ID选择...
玛吉阿米—仓央嘉措的情人 玛吉阿米—仓央嘉措的情人美尚作者：竺子诵读：王保华（读一无二）来源：蝴蝶为你朗读（dancingbu...
欣赏 欣赏欣赏xīn shǎng[释义]①（动）基本义：享受美好的事物；领略其中的趣味。②（动）认为好；喜...
《野外定向》的教学反思 《野外定向》的教学反思　　“学习生活中有用的地理；学习对终身发展有用的地理”是新的课程标准的基本理念...
ajax学习1 不刷新页面的情况下，向服务端发送请求，异步的js和XMLajax不是新的...
es6的generator 一.generator函数的大致介绍 generator函数是es6引入的，主要用于异...
南京邮电大学数据库第一次课后作... 1.单选题 (5分) (B)是存储在计算机内有结构的数据的集合。 （A）...
不退位减教学设计 不退位减的教学设计（精选3篇）　　作为一位优秀的人民教师，通常需要准备好一份教学设计，教学设计是一个...
开口呼開口呼 开口呼（開口呼）开口呼（開口呼）kāi kǒu hū[释义] 等韵学术语。按照韵母把字音分成开口呼、...
《学会合作》教学反思 《学会合作》教学反思　　作为一位到岗不久的教师，教学是重要的工作之一，写教学反思能总结我们的教学经验...
怎样教育儿童防走失 怎样教育儿童防走失怎样教育儿童防走失(2013-10-23 12:06:04) 导读：节日期间动物园...
SQLMap 源码阅读 0x01 前言 还是代码功底太差，所以想尝试阅读 sqlmap 源码一下，...
【编程基础】025.C语言中函... 文章目录C语言中函数的应用1、自定义函数处理最大公约数与最小公倍数2、自定义函数求一元二次方程3、自...
Map集合体系、集合的嵌套 一. Map集合体系 1. Map集合的概述 Map集合也称键值对集合Map集合的特点是由键决定的 ...
百日维新的意思, 百日维新的... 百日维新的意思, 百日维新的解释【词语】 百日维新【全拼】: 【bǎirìwéixīn】【释义】: ...
道家静心咒 道家静心咒老君曰:大道无形，生育天地。大道无情，运行日月。大道无名，长养万物。吾不知其名强名曰：「道...
下册音乐教学计划 关于下册音乐教学计划3篇下册音乐教学计划 篇1　　本学期按照学校的安排，我担任了三个班级的音乐课，这...