面向视频的推理增强型对象中心学习
计算机视觉与模式识别
2025-02-18 v2 人工智能
机器学习
摘要
对象中心学习旨在将复杂的视觉场景分解为更易于管理的对象表示，从而增强机器学习系统对物理世界的理解和推理能力。最近，基于槽（slot）的视频模型在分割和跟踪对象方面展示了卓越的能力，但它们忽略了有效推理模块的重要性。在现实世界中，推理和预测能力在人类感知和对象跟踪中起着至关重要的作用；特别是，这些能力与人类的直觉物理密切相关。受此启发，我们设计了一个名为带记忆缓冲区的基于槽的时空变换器（STATM）的新型推理模块，以增强模型在复杂场景中的感知能力。记忆缓冲区主要用作上游模块槽信息的存储，基于槽的时空变换器通过基于槽的时空注意力计算和融合进行预测。我们在各种数据集上的实验结果表明，STATM模块能够显著增强多种最先进的视频对象中心学习模型的能力。此外，作为一个预测模型，STATM模块在下游预测和视觉问答（VQA）任务中也表现良好。我们将在https://github.com/intell-sci-comput/STATM发布代码和数据。
引用
@article{arxiv.2403.15245,
title = {Reasoning-Enhanced Object-Centric Learning for Videos},
author = {Jian Li and Pu Ren and Yang Liu and Hao Sun},
journal= {arXiv preprint arXiv:2403.15245},
year = {2025}
}