迹强化蚂蚁过程无法找到最短路径

本文研究一种用于蚂蚁搜索巢穴与食物源之间最短路径的概率强化学习模型。在该模型中，巢穴与食物源是有限图 $\mathcal G$ 中两个特殊的节点 $N$ 与 $F$。蚂蚁在该图上执行一系列随机游走，从巢穴出发，并在首次击中食物源时停止。在其随机游走的每一步，第 $n$ 只蚂蚁以正比于此前至少穿越过该边一次的前驱蚂蚁数量的概率选择穿越相邻边。我们称蚂蚁找到了最短路径，是指当蚂蚁数量趋于无穷时几乎必然地，几乎所有蚂蚁都经由某条最短路径从巢穴到达食物源，而不在图的其他边上浪费时间。我们的贡献有三方面：（1）我们证明，若 $\mathcal G$ 是以 $N$ 为根、其叶子已合并为节点 $F$ 且 $N$ 与 $F$ 间有一条边的树，则蚂蚁确实找到最短路径。（2）相反，我们给出三个蚂蚁未找到最短路径的图例，表明在该模型及大多数图中蚂蚁找不到最短路径。（3）在所有这些情形中，我们证明归一化边权序列收敛到一个确定性极限，尽管存在线性强化机制，并猜想这是在所有有限图上成立的一般事实。为证明这些结果，我们使用随机逼近方法，特别是 ODE 方法。一个困难在于该方法依赖于理解一个非线性、多维 ODE 解在长时间下的行为。