SARSA算法

for each step in episode
 执行动作 ${\displaystyle a_{t}}$ ，观察奖励 ${\displaystyle r_{t}}$  和下一步状态 ${\displaystyle s_{t+1}}$ 
 基于当前的 ${\displaystyle Q}$  和 ${\displaystyle s_{t+1}}$ ，根据特定策略（如ε-greedy）选择 ${\displaystyle a_{t+1}}$ 
 ${\displaystyle Q^{new}(s_{t},a_{t})\leftarrow Q(s_{t},a_{t})+\alpha \,[r_{t}+\gamma \,Q(s_{t+1},a_{t+1})-Q(s_{t},a_{t})]}$ 
 ${\displaystyle s_{t}\leftarrow s_{t+1}}$ ；${\displaystyle a_{t}\leftarrow a_{t+1}}$ 
until 状态 ${\displaystyle s}$  终止

在选择下一步动作${\displaystyle a_{t+1}}$ 时，采用ε-greedy策略，即：

• 以 ε 的概率随机选择下一个动作
• 以 1-ε 的概率选择可以最大化${\displaystyle Q(s_{t+1},a_{t+1})}$ 的下一个动作

在该算法中，超参数（英语：Hyperparameter (machine learning)） ${\displaystyle \alpha }$  为学习速率，${\displaystyle \gamma }$  为折扣因子。

在更新${\displaystyle Q}$ 时，对比Q学习使用 ${\displaystyle {\text{max}}_{a}Q(s_{t+1},a)}$  作为预估，SARSA则使用 ${\displaystyle Q(s_{t+1},a_{t+1})}$  作为预估。^[4]一些针对Q学习的提出优化方法也可以应用于SARSA上。^[5]

• 强化学习
• Q学习
• 马可夫决策过程