Filtered-CoPhy：像素空间中反事实物理的无监督学习
计算机视觉与模式识别
2022-06-30 v1 机器学习
摘要
在高维数据（图像、视频）中学习因果关系是一项艰巨任务，因为它们通常定义在低维流形上，且必须从受外观、光照、纹理以及数据中虚假相关性主导的复杂信号中提取。我们提出了一种在像素空间中学习物理过程反事实推理的方法，其需要对初始条件上干预的影响进行预测。超越结构关系的识别，我们处理了在长时域上预测原始视频这一挑战性问题。我们的方法不需要任何真实位置或其他物体或场景属性的知识或监督。我们的模型基于稠密特征、一组 2D 关键点和每个关键点的附加潜向量的组合，学习并作用于合适的混合潜表示。我们表明，这比纯稠密或稀疏表示更好地捕捉了物理过程的动力学。我们引入了一个新的具有挑战性且精心设计的像素空间预测反事实基准，并在受物理启发的 ML 和视频预测方面优于强基线。
引用
@article{arxiv.2202.00368,
title = {Filtered-CoPhy: Unsupervised Learning of Counterfactual Physics in Pixel Space},
author = {Steeven Janny and Fabien Baradel and Natalia Neverova and Madiha Nadri and Greg Mori and Christian Wolf},
journal= {arXiv preprint arXiv:2202.00368},
year = {2022}
}