关于无线传感器网络中运用强化学习的路由协议探讨

简介：
本文探讨了在无线传感器网络中应用强化学习技术来优化路由协议的方法和效果，旨在提高网络的数据传输效率与稳定性。 现有的临时路由协议基于节点之间连接的离散双峰模型：链接存在或断开，并且通常仅将最新传输视为确定链路状态。然而，该模型无法区分由于干扰或拥塞导致失败的数据包与因目标超出传输范围而导致数据包丢失的情况。 本段落提出了一种新的自组织路由协议，在连续而非离散的网络中运行。我们使用了链接性能随时间变化的统计度量来表示链接的质量，并认为这样的模型对于现实无线网络中的有效操作是必要的。为了在具有可变质量链路的网络中定义最佳路由，我们将自组织路由建模为协作式强化学习问题。 我们的协议将每个数据包上的路由分配一个值，该值代表使用此路径的成本。因此，临时路由问题被转化为优化这个成本的过程。我们设计了一种学习策略来收集关于可用路线及其链接质量的信息，并且这种信息仅在业务流需要时按需进行采集并与其流量成比例地获取。 我们的学习过程是在线式的：即边发现路由边传递数据包。该策略受到群体智能系统的启发，特别是蚁群优化元启发式算法被用作自组织路由的学习方法。每个协议中的路由数据包都会导致网络中某种程度的路径调整。 我们发现在多跳拥塞环境中连续链路质量模型非常有用：双峰链接状态模型会将任何丢失的数据包解释为移动性节点的结果，从而触发整个网络范围内的重新路由；而基于连续模型的方法可以通过逐步更改其路由行为来响应丢包事件。在NS-2的仿真中，我们的协议在数据传输率和路径流量方面优于AODV或DSR等其他方法。 综上所述，本段落提出了一种新型无线传感器网络中的自组织路由策略，在拥塞环境中特别有效，并且能够更好地适应动态变化的链路条件。