动态场景中基于物体的扫视决策模块化框架
计算机视觉与模式识别
2021-06-14 v1
摘要
视觉探索我们周围的世界并非被动过程。相反，我们主动探索世界并随时间获取视觉信息。在此，我们提出一种用于模拟人在动态真实场景中的眼动行为的新模型。我们将这种主动场景探索建模为序贯决策过程。我们改编了广泛用于感知决策的漂移扩散模型（DDM），并将其扩展至由场景中存在的物体所定义的多个选项。对于每一个可能的选择，模型随时间累积证据，一旦证据越过决策阈值即触发决策（扫视眼动）。在主动观看背景下，这种将决策与基于物体的场景感知显式关联起来具有高度相关性，其中决策是在与外部环境的持续交互中不断做出的。我们通过精心设计的消融研究验证模型并探讨模型参数的影响。在 VidCom 数据集上的比较支持了所提方法的合理性。
引用
@article{arxiv.2106.06073,
title = {A modular framework for object-based saccadic decisions in dynamic scenes},
author = {Nicolas Roth and Pia Bideau and Olaf Hellwich and Martin Rolfs and Klaus Obermayer},
journal= {arXiv preprint arXiv:2106.06073},
year = {2021}
}
备注
Accepted for presentation at EPIC@CVPR2021 workshop, 4 pages, 2 figures