一种基于原物体的视听显著性图

自然环境和我们与它的交互本质上是多感官的，我们可能部署视觉、触觉和/或听觉来感知、学习并与环境交互。本研究的目标是开发一种利用多感官信息（具体而言是视觉和音频）的场景分析算法。我们开发了一种基于原物体的视听显著性图（AVSM）用于动态自然场景的分析。使用一个具有 $360 \degree$ 视场角、能够定位声音方向的专用视听相机来收集时空对齐的视听数据。我们证明了基于原物体的视听显著性图在检测和定位显著物体/事件方面的性能与人的判断一致。此外，我们计算的作为视觉和听觉特征显著图的线性组合的基于原物体的 AVSM，相比单感官显著性图捕获了更多数量的有效显著事件。此类算法可用于监控、机器人导航、视频压缩及相关应用。