Retro-Actions：通过时间反转“打开”视频学习“关闭”

我们研究了能产生类别同质标签变换的视频变换。这些视频变换能够一致地保持或修改每个类别中所有视频的标签。我们提出了一种通用方法来发现不变类（其变换后的样本保持标签）、等变类对（其变换后的样本交换标签）以及新类生成类（其变换后的样本属于数据集之外的新类）。标签变换为视频识别提供了此前未被探索的额外监督，有利于数据增强，并通过从其对应类的变换视频中学习一个类来实现零样本学习机会。在这些视频变换中，我们研究了水平翻转、时间反转及其组合。我们指出了在视频中简单地将水平翻转用作数据增强形式的错误。接着，我们通过一项人类感知研究验证了时间反转视频的真实性，在该研究中，人们对正向和时间反转视频表现出同等的偏好。最后，我们在Jester和Something-Something两个数据集上测试了我们的方法，评估了这三种视频变换在零样本学习和数据增强方面的效果。我们的结果表明，诸如“放大”这样的手势可以在零样本设置下从“缩小”中学习，而更复杂的、涉及状态转换的动作，例如“从某物中挖出某物”，也可以从“将某物埋入某物”中学习。