面向电影理解的长程多模态预训练

从电影中学习（以及为电影学习）计算机视觉模型有着悠久的历史。尽管已取得巨大进展，社区不断建立的日益增长的电影理解任务集合仍需要一种预训练好的多模态模型，能够在此类任务上表现良好。本工作中，我们提出长程多模态预训练这一策略及模型，利用电影数据训练可迁移的多模态与跨模态编码器。我们的核心思想是通过在长程上观察并提取关系，从电影的所有模态中学习。预训练后，我们在 LVU 基准上进行消融研究，验证了我们的建模选择以及从长程时间跨度学习的重要性。我们的模型在多个 LVU 任务上达到最先进水平，同时比先前工作数据效率更高。最后，我们通过在五个不同基准上创下新的最先进水平，评估了模型的迁移能力。