超越静态图像:时间特征与输入方差鲁棒性

传统上,视觉模型主要依赖从静态图像提取的空间特征,这不同于自然视觉中大脑所处理的连续时空特征流。尽管已出现众多视频理解模型,但将视频与具有时空特征的图像理解模型相结合仍很有限。受对输入变化表现出显著鲁棒性的自然视觉启发,我们的研究聚焦于开发一种受大脑启发、用视频训练的视觉理解模型。我们的结果表明,用视频而非静态图像训练并包含时间特征的模型,对输入媒体的各种变更变得更加鲁棒。