Q-Learning的更新公式

简介：
Q-Learning的更新公式是强化学习中的关键算法之一，用于通过试错过程来学习最优策略。该公式基于马尔可夫决策过程，通过奖励信号迭代地改善动作值函数估计。 在Q-Learning算法中，参数更新的公式如下：\[ Q_{\text{new}}(s_{t-1}, a_{t-1}) = (1 - \alpha) \cdot Q(s_{t-1}, a_{t-1}) + \alpha(r_t + \gamma \cdot \max Q(s_t, a)) \] 其中，$\max Q(s_t, a)$ 用于确定在状态 $s_t$ 下预期回报最高的行动。参数 $\alpha$ 属于 $(0,1]$ 范围内，而折扣因子 $\gamma$ 则位于 $[0,1]$ 区间内；这里的 $r_t$ 表示时间步长为 $t$ 时的奖励值。