学习块排序以实现无偏图像冗余消除

图像因相邻区域像素的空间相关性而存在严重的空间冗余。现有方法致力于通过减少无意义的图像区域来克服这一局限。然而，当前领先的方法依赖监督信号，可能迫使模型保留与标注类别一致的内容并丢弃属于未标注类别的内容。这种类别归纳偏置使得这些方法在真实场景中效果不佳。为解决此问题，我们提出了一种用于图像冗余消除的自监督框架，称为学习块排序。我们观察到，当掩码比率较高（如 90\%）时，掩码图像建模模型的图像重建对可见块的移除十分敏感。基于此，我们通过两步实现 LTRP：通过量化包含与不包含该块的重建之间的差异来推断每个块的语义密度得分，以及利用该伪得分学习对块进行排序。整个过程是自监督的，从而摆脱了类别归纳偏置的困境。我们在不同数据集和任务上设计了大量实验。结果表明，由于对图像内容的公平评估，LTRP 优于监督方法与其他自监督方法。