学习二阶注意力上下文以实现高效对应剪枝

对应剪枝旨在从一组假定对应中搜索一致的对应（内点）。由于大量离群点的空间分布杂乱无章，该任务具有挑战性，尤其是在假定对应主要由离群点主导时。在保持效率的同时确保有效性则更具挑战性。本文提出一种高效且有效的对应剪枝方法。受注意力上下文在对应问题中成功的启发，我们首先将注意力上下文扩展为一阶注意力上下文，然后引入注意力中的注意力（ANA）思想来建模用于对应剪枝的二阶注意力上下文。与关注特征一致上下文的一阶注意力不同，二阶注意力致力于注意力权重本身，并提供额外来源以从注意力图中编码一致上下文。为提升效率，我们针对二阶注意力的朴素实现推导了两种近似形式，将立方复杂度优化为线性复杂度，从而使得二阶注意力能以可忽略的计算开销被使用。我们进一步将我们的公式实现于一个二阶上下文层，并将该层整合进一个ANA块中。大量实验表明，我们的方法在剪枝离群点方面高效且有效，尤其在离群点比例较高的情况下。与最先进的对应剪枝方法LMCNet相比，我们的方法运行速度快14倍，同时保持了有竞争力的精度。