用于多模态协作活动摘要的非参数模型
计算机视觉与模式识别
2017-09-06 v1
摘要
以自我为中心的数据流通过聚合个体数据，为推理联合行为提供了独特机会。这在充满人类活动的城市环境中尤为明显，尽管这些数据往往存在不完整和噪声问题。协作人类活动表现出共同的空间、时间和视觉特征，促进了跨个体的多感官模态推理，正如本文从会议视角所探讨的那样。我们提出了一种新的贝叶斯非参数模型，能够高效地聚合来自多个个体的视频和 GPS 数据，以进行协作活动分析。我们展示了该模型在活动检测、分类和摘要等推理任务中的效用。此外，我们还展示了模型中嵌入的时空结构如何有助于更好地理解局部和噪声观测，例如基于社交互动的定位和人脸检测。我们在合成实验以及来自多个个体的新型以自我为中心的视频和噪声 GPS 数据集上展示了结果。
引用
@article{arxiv.1709.01077,
title = {A Nonparametric Model for Multimodal Collaborative Activities Summarization},
author = {Guy Rosman and John W. Fisher and Daniela Rus},
journal= {arXiv preprint arXiv:1709.01077},
year = {2017}
}