CTGU 三峡大学强化学习

简介：
如图1所示，该机器人导航问题是基于地图模型的。在每个时间段内，机器人需要做出方向选择（上下左右）。基于马尔可夫假设的转移概率矩阵P被用于计算价值函数和最优策略。然而，在本研究过程中，机器人并不掌握这一转移概率模型的具体形式。每当机器人完成一个动作后，环境会提供两条关键信息——新的实际位置及其对应的奖励值。因此，若机器人遵循某一策略π(x)，其行为轨迹将由一系列状态、动作及奖励组成：{x0,a0,r0,x1,a1,r1,...,a_{n−1},r_{n−1},xn}，其中xi和ri分别表示环境所给的状态及其奖励，ai=π(xi)代表机器人自身的决策过程。起始位置为x0=Start，终止状态为xn。这一数据序列也被定义为一条行为轨迹或样本路径。在强化学习框架下，机器人需要通过多轮实验积累经验，并基于这些样本路径求解最优策略。需要注意的是，所有样本路径的生成都是建立在相同的环境模型基础上的，即基于马尔可夫假设的转移概率模型生成的状态序列。