1.3 Return, 状态值, 动作值 | 自动驾驶小白说

1.3.1 如何计算return

这里给出了上图3个不同轨迹return的计算表达式, 来说明return与轨迹质量的相关性:

用于第3个情况, 是存在策略分布的, 这里我们求两条轨迹return的平均值:

显然, , 较为简单不再赘述.

将起始点的状态索引为的轨迹return定义为.

这里举了一个轨迹回到起点的例子, 以4个不同的状态为起点, 每个return分别可以写作如下形式:

从这组式子我们能够看出来, 这里每个return都依赖于下个状态的return. 依赖, 依赖... 换句话说, 从不同状态出发的得到return，它是依赖于从其他状态出发所得到的return。

当这个轨迹是个循环时, 最终会依赖自己. 这反映了Bootstrapping的思想.

我们将上面的式子写成线性方程组:

简洁的表达为下式, 并求解:

实际上, 这就是贝尔曼公式表达, 下一节我们会介绍它的一般形式

我们考虑简单的一步:

都是随机变量. 从时刻开始, 可以得到状态-动作-奖励组成的轨迹:

该轨迹的discounted return定义为, 它也是随机变量:

这里我们将的期望定义为State value function, 即状态值函数, 定义如下:

需要声明的是, 状态值函数与return的区别在于:

仍然以这三个轨迹为例子, 很简单可以计算出他们的状态值:

其中第3条, 计算的是不同轨迹return的期望

状态值是指从一个状态出发的轨迹的return的期望; 对应的, 动作值是指从一个状态采取某一个动作出发的轨迹的return的期望.

动作值定义可以写成:

展开可以写出:

简单的说, 动作值是状态值的一部分, 某一个状态下所有的动作值加权和就是状态值.

我们可以很简单的写出来这几个动作值:

不过需要注意的是, 即使在这个策略中, 其他的动作的概率是0, 但是它们依然有动作值:

只不过在计算状态值的时候, 它们的权重策略概率为0