对比学习的可视化与理解

对比学习已经革新了计算机视觉领域，从未标注数据中学习到丰富的表征，这些表征能很好地泛化到多样的视觉任务。因此，解释这些方法并理解其内在工作机制变得愈发重要。鉴于对比模型以相互依赖且交互的输入进行训练，并旨在通过数据增强学习不变性，现有的解释单图像系统(例如图像分类模型)的方法是不充分的，因为它们未能考虑这些因素且通常假设输入独立。此外，缺乏用于评估成对解释的评估指标，且尚未有分析研究考察用于解释对比学习的不同技术的有效性。在本工作中，我们设计了有助于从图像对理解相似性学习任务的视觉解释方法。我们进一步调整现有的、用于评估图像分类系统视觉解释的度量，以适配成对解释并用这些度量评估我们所提方法。最后，我们对对比学习的视觉可解释性方法进行了透彻分析，建立了它们与下游任务的相关性，并展示了我们所提方法在考察其优缺点方面的潜力。