为配对第一视角交互识别建模跨视角交互一致性
计算机视觉与模式识别
2020-03-25 v1
摘要
随着增强现实（AR）的发展，第一视角动作识别（EAR）在准确理解用户需求方面发挥着重要作用。然而，EAR旨在帮助从单一第一视角中识别人机交互，因此难以捕捉两名面对面AR用户之间的交互。配对第一视角交互识别（PEIR）是利用两人对应视角的视频协作识别二者间交互的任务。遗憾的是，现有PEIR方法总是直接使用线性决策函数融合从两段对应第一视角视频中提取的特征，忽略了配对第一视角视频中交互的一致性。配对视频中交互的一致性，以及从中提取的特征，彼此相关。在此基础上，我们提出使用双线性池化建立两视角间的相关性，以在特征层面捕捉两视角的一致性。具体而言，一个视角特征图中的各神经元与另一视角的神经元相连，从而保证了两视角间的紧凑一致性。随后所有可行的配对神经元被用于PEIR以利用其内部一致信息。为提升效率，我们采用带Count Sketch的紧凑双线性池化，以避免直接计算双线性中的外积。在PEV数据集上的实验结果表明所提方法在PEIR任务上的优越性。
引用
@article{arxiv.2003.10663,
title = {Modeling Cross-view Interaction Consistency for Paired Egocentric Interaction Recognition},
author = {Zhongguo Li and Fan Lyu and Wei Feng and Song Wang},
journal= {arXiv preprint arXiv:2003.10663},
year = {2020}
}
备注
ICME2020