学习未来的可预测性

我们引入一个从无标签视频中学习未来中什么是可预测的框架。我们的方法不是事先确定要预测的特征,而是从数据中学习哪些特征是可预测的。基于双曲几何自然且紧凑地编码层次结构的观察,我们提出了一个双曲空间中的预测模型。当模型最置信时,它将在层次的具体层级进行预测,但当模型不置信时,它学习自动选择更高的抽象层级。在两个既定数据集上的实验显示了层次表示对于动作预测的关键作用。尽管我们的表示是用无标签视频训练的,可视化显示动作层次结构在表示中浮现。