Understanding Actor Critic Methods and How to Use them
作者：禅与计算机程序设计艺术
1.简介
Actor-Critic方法是深度强化学习中常用的模型,主要用于解决离散型和连续型动作空间的问题。该方法提出了一个策略网络和一个值网络，并用它们之间的关系解决RL问题。其特点是在策略网络和值网络之间引入反馈机制,能够同时解决价值函数的估计和策略的优化。因此,它是一种新颖而有效的方法。本文将对Actor-Critic方法进行详细介绍。
2. 基本概念术语说明
（1）策略网络（Policy Network）
策略网络即输出一个概率分布，其中每一个状态对应一个动作的网络。在确定性策略网络的情况下，输出是一个确定的动作；在随机策略网络的情况下，输出是一个动作的概率分布。在策略网络训练时可以采用交叉熵损失函数，也可以使用其它类型的损失函数。策略网络根据当前状态的输入信息，输出一个动作向量或者一个动作概率分布。
（2）值网络（Value Network）
值网络一般采用V(s)表示某一状态s对应的一个实值的函数。值网络的作用是给定一个状态s，预测它的期望回报或折扣奖励的值。由于值网络的训练目标就是尽可能让它预测正确的回报值，因此它也被称为“奖励网络”（reward network）。值网络的训练可以采用平方差损失函数。值网络的输出可以看成是对每个状态的未来的折扣奖励的期望，它给出了在下一步执行某个动作后，这个动作的优劣程度和长远收益预估。值网络的学习过程是通过监督学习实现的。
来源地址：https://blog.csdn.net/universsky2015/article/details/132312073
免责声明：
① 本站未注明“稿件来源”的信息均来自网络整理。其文字、图片和音视频稿件的所属权归原作者所有。本站收集整理出于非商业性的教育和科研之目的，并不意味着本站赞同其观点或证实其内容的真实性。仅作为临时的测试数据，供内部测试之用。本站并未授权任何人以任何方式主动获取本站任何信息。
② 本站未注明“稿件来源”的临时测试数据将在测试完成后最终做删除处理。有问题或投稿请发送至: 邮箱/279061341@qq.com QQ/279061341
