试错算法的性能分析

无模型的去中心化优化与学习正从理论和实际角度受到越来越多的关注。特别是，两种完全去中心化的学习算法，即试错算法（TEL）和最优动态学习（ODL），对广泛的一类博弈极具吸引力。事实上，ODL 具有在最大化所有参与者效用之和的最优状态中花费高比例时间的性质。而 TEL 具有如下性质：若存在纯纳什均衡（PNE），则在最大化所有参与者效用之和的最优状态中花费高比例时间；否则，其在最大化所有参与者效用之和与预定义稳定性函数之间权衡的最优状态中花费高比例时间。另一方面，由于固有马尔可夫链的高复杂度和高维度，估计在最优状态中花费的平均时间比例（以及到达该状态的平均时间长度）具有挑战性。本文在特定系统模型下，通过提出对所考虑马尔可夫链的近似，给出了上述性能指标的评估，从而克服了高维度问题。随后对两种算法进行比较，以更好地理解它们的性能。