环境错位下基于视觉的长期动力学预测的批判性审视
计算机视觉与模式识别
2023-06-16 v2
摘要
动力学预测，即基于当前和先前状态预测场景物体未来状态的问题，作为学习物理的一个实例正受到越来越多的关注。为解决该问题，提出了基于视觉的模型——区域提议卷积交互网络（RPCIN），并在长期预测中取得了最先进的性能。RPCIN 仅以原始图像和简单的物体描述（如每个物体的边界框和分割掩码）作为输入。然而，尽管取得了成功，该模型的能力在环境错位条件下会受损。在本文中，我们通过提出四个为这些挑战设计的数据集来研究环境错位的两个挑战性条件：跨域和跨上下文，即 SimB-Border、SimB-Split、BlenB-Border 和 BlenB-Split。这些数据集涵盖两个域和两个上下文。使用 RPCIN 作为探针，在所提数据集组合上进行的实验揭示了基于视觉的长期动力学预测模型的潜在弱点。此外，我们提出了缓解跨域挑战的一个有前景的方向，并提供了支持该方向的具体证据，其在所提数据集上显著缓解了该挑战。
引用
@article{arxiv.2305.07648,
title = {A Critical View of Vision-Based Long-Term Dynamics Prediction Under Environment Misalignment},
author = {Hanchen Xie and Jiageng Zhu and Mahyar Khayatkhoei and Jiazhi Li and Mohamed E. Hussein and Wael AbdAlmageed},
journal= {arXiv preprint arXiv:2305.07648},
year = {2023}
}
备注
14 pages, 5 figures, 10 tables. Accepted to ICML 2023