ParamCrop: 用于视频对比学习的参数化立方体裁剪

对比学习的核心思想是区分不同实例，并强制来自同一实例的不同视图共享相同的表示。为避免平凡解，数据增强在生成不同视图中起着重要作用，其中随机裁剪被证明能有效帮助模型学习泛化且鲁棒的表示。常用的随机裁剪操作在训练过程中保持两个视图之间差异的分布不变。在这项工作中，我们表明，在训练过程中自适应地控制两个增强视图之间的差异程度可以提高所学表示的质量。具体来说，我们提出了一种用于视频对比学习的参数化立方体裁剪操作 ParamCrop，它通过可微的 3D 仿射变换自动裁剪一个 3D 立方体。ParamCrop 使用对抗性目标与视频骨干网络同时训练，并从数据中学习最优的裁剪策略。可视化结果显示，ParamCrop 自适应地控制了两个增强视图之间的中心距离和交并比（IoU），并且训练过程中学习到的差异变化有利于学习强表示。广泛的消融研究证明了所提出的 ParamCrop 在多种对比学习框架和视频骨干网络上的有效性。代码和模型将公开可用。