寻找触发器：视频事件上的因果归因推理
计算机视觉与模式识别
2025-01-17 v1 机器学习
摘要
本文提出了一个新问题，即视频事件上的因果归因推理（Causal Abductive Reasoning on Video Events, CARVE），该问题涉及识别视频中事件之间的因果关系，并生成解释目标事件发生所必需的因果链的假设。为促进此方向的研究，我们创建了两个新基准数据集，包含合成视频和真实视频，配合通过一种新颖的反事实合成方法生成的触发器-目标标签。为探索解决CARVE的挑战，我们提出了因果事件关系网络（Causal Event Relation Network, CERN），该网络在时间和语义空间中考察视频事件之间的关系，以有效确定根因触发事件。通过大量实验，我们展示了事件关系表示学习和交互建模在解决视频因果推理挑战方面的关键作用。CARVE任务的提出，以及随附的数据集和CERN框架，将推动未来视频因果推理研究的进展，并显著促进包括视频监控、根因分析和电影内容管理等各种应用的实现。
引用
@article{arxiv.2501.09304,
title = {Finding the Trigger: Causal Abductive Reasoning on Video Events},
author = {Thao Minh Le and Vuong Le and Kien Do and Sunil Gupta and Svetha Venkatesh and Truyen Tran},
journal= {arXiv preprint arXiv:2501.09304},
year = {2025}
}