DINO-Foresight：用DINO预见未来
计算机视觉与模式识别
2025-12-01 v2
摘要
预测未来动态对于自动驾驶和机器人等应用至关重要，这些应用需要理解环境。现有的像素级方法计算成本高，且通常关注不相关的细节。为了解决这些挑战，我们引入了DINO-Foresight，一种在预训练视觉基础模型(VFMs)的语义特征空间中操作的新颖框架。我们的方法以自监督方式训练一个掩码特征变换器，以预测VFM特征随时间的变化。通过预测这些特征，我们可以应用现成的、任务特定的头部进行各种场景理解任务。在这个框架中，VFM特征被视为一个潜在空间，不同的头部连接到该空间以执行未来帧分析的特定任务。大量实验表明了我们框架的强大性能、鲁棒性和可扩展性。项目页面和代码见https://dino-foresight.github.io/。
引用
@article{arxiv.2412.11673,
title = {DINO-Foresight: Looking into the Future with DINO},
author = {Efstathios Karypidis and Ioannis Kakogeorgiou and Spyros Gidaris and Nikos Komodakis},
journal= {arXiv preprint arXiv:2412.11673},
year = {2025}
}
备注
NeurIPS 2025