其中$\gamma \in (0,1)$称为折合因子，表明了未来的回报相对于当前回报的重要程度。$\gamma =0$时，相当于只考虑立即不考虑长期回报，$\gamma =1$时，将长期回报和立即回报看得同等重要。

价值函数 $V\left(s\right)$定义为状态$S$的长期价值，即 $G_t$ 的数学期望

然后再考虑MDP过程还有一个策略和动作，给定策略$\pi$和初始状态$s$，则动作$a=\pi \left(s\right)$，我们就可以定义

状态值函数：

动作值函数（给定当前状态s和当前动作a，在未来遵循策略π）：

在$q_{\pi }(s,a)$中，不仅策略$\pi$和初始状态$s$是我们给定的，当前的动作$a$也是我们给定的，这是$q_{\pi }(s,a)$和$V\pi \left(s\right)$的主要区别。

一个MDP的最优策略就是最优状态-价值函数：$v_{\ast }\left(s\right)=\underset{\pi }{max}{v}_{\pi }\left(s\right)$ 状态s下，选择一个能使价值最大的策略。

求解最优策略

上面提到我们的目的是找到一个让值函数最大的策略，求一个最优解问题。

主要使用的方法有：

• 动态规划法(dynamic programming methods）

动态规划方法（DP）计算值函数：

通过公式看出DP计算值函数用到了当前状态$s$的所有$s^{\prime }$处的值函数，也就是bootstapping方法（用后继状态的值函数估计当前值函数）。而后继状态是用模型 $p(s^{\prime },r|S_t,a)$ 计算得到的。

所以DP是存储每个状态的值函数Q表，根据Q表通过迭代方法得到最佳的策略。存储Q表后，利用后续状态值函数估计当前值函数，可以实现单步更新，提升学习效率。

优势：提前得到Q表后，不需要再与环境交互，直接通过迭代算法得到最佳策略。

劣势：实际应用中，状态转移概率和值函数是很难得到的

• 蒙特卡罗方法(Monte Carlo Methods)

蒙特卡罗方法（MC），它的状态值函数更新公式为：

其中$G_t$是每个探索结束后得到的累计回报，$\alpha$为学习率。我们用$S_t$的累计回报Gt和当前估计$V\left(S_t\right)$的偏差值乘以学习率来更新当前的$V\left(S_t\right)$的新的估计值。因为没有模型得到状态转移概率，所以MC是用经验平均值估计状态的值函数。

蒙特卡罗方法是通过采样的方法（试错，和环境进行交互）来估计状态的期望值函数。采样之后，环境给出奖励信息，体现在值函数中。

优势：不需要知道状态转移概率，而是通过经验（采样和试错实验）去评估期望值函数，只要采样的次数足够多，保证每个可能的状态-动作都能采样到，就可以最大程度的逼近期望。

劣势：由于值函数是要从状态s到最终状态累计奖励，所以每次实验都必须执行到终态才能得到状态s的值函数，学习效率很低。

• 时间差分法(temporal difference)

最后看时间差分法(TD)算法的值函数更新公式：

其中$r_{t+1}+\gamma V\left(S_{t+1}\right)$ 和MC中的$G_t$对应，不需要使用状态转移函数的模型，同时它不需要执行到终态得到累计回报，而是使用下一个时刻的即刻回报和值函数，类似DP的bootstapping方法。

agent智能体：决策者

 

environment环境: 与智能体交互的事物

 

State 状态：当前agent在环境中所处的状态

 

action动作：agent每次处于的状态和上一个状态的reward以及策略一起确定了当前需要执行的动作

 

reward奖励: 环境对于动作返回的奖励

 

policy策略：agent的行为，从state到action的映射

 

强化学习项目我们要做的事情是，针对一个问题首先提取出一个环境和与之交互的智能体，从环境中抽取出状态（S）和动作（A），以及执行某个动作能得到的即时奖励（R），智能体决策出一种最优策略算法，在此策略下能够让智能体在环境状态下执行最优动作，得到的累计reward最大。