基于溯因推理推断家庭中的过往人类行为
计算机视觉与模式识别
2025-01-23 v5
摘要
溯因推理旨在对给定的一组不完整观测做出最可能的推断。本文中，我们引入“溯因式过往行为推断”这一新研究任务，旨在利用溯因推断，从单张图像所捕捉的特定状态出发，识别个体在家庭中所执行的过往行为。该研究探讨了三个关键溯因推断问题：过往行为集合预测、过往行为序列预测以及溯因式过往行为验证。我们引入了若干专为溯因式过往行为推断设计的模型，包括关系图神经网络、关系双线性池化模型以及关系 Transformer 模型。值得注意的是，新提出的对象关系双线性图编码器-解码器（BiGED）模型在所有评估方法中最为有效，展现出处理 Action Genome 数据集复杂性的良好能力。本研究的贡献显著推进了深度学习模型对当前场景证据进行推理并就过往人类行为做出高度可信推断的能力。这一进展使得对事件与行为的更深理解成为可能，并能在人机交互、老年照护与健康监测等多种现实应用中增强决策能力并改进系统功能。代码与数据见 https://github.com/LUNAProject22/AAR
引用
@article{arxiv.2210.13984,
title = {Inferring Past Human Actions in Homes with Abductive Reasoning},
author = {Clement Tan and Chai Kiat Yeo and Cheston Tan and Basura Fernando},
journal= {arXiv preprint arXiv:2210.13984},
year = {2025}
}
备注
15 pages, 8 figures, Accepted to WACV 2025