注意力（作为离散时间马尔可夫链）

我们提出了将注意力矩阵解释为离散时间马尔可夫链的新方法。我们的解释在统一框架下阐明了涉及注意力得分的常见操作，如选择、求和和平均。它进一步通过考虑通过马尔可夫链传递的间接注意力来扩展这些操作，与以往仅建模即时效果的研究不同。我们的关键观察是，与语义上相似的区域相关联的标记形成 metastable 状态，即注意力倾向于集中注意力的区域，而噪声注意力得分则会消散。通过简单的矩阵乘法和特征分析，可以轻松计算metastable状态及其出现频率。利用这些轻量级工具，我们展示了实现最先进的零样本分割。最后，我们定义了TokenRank——马尔可夫链的稳态向量，用于衡量全局token重要性。我们表明，TokenRank可以增强无条件图像生成，提高质量（IS）和多样性（FID），并且可以整合到现有的分割技术中，以提高其在现有基准测试上的性能。我们相信，这一框架为理解现代视觉变换器中token的注意力方式提供了全新的视角。