犬类视觉环境分类与视觉注意分析
计算机视觉与模式识别
2023-11-21 v1 人工智能
摘要
犬类与人类有着独特的进化关系，并承担着许多重要角色，例如搜索与救援、盲人辅助、情感支持。然而，现有数据集很少用于分类犬类可获取的视觉特征与物体，以及犬类如何在环境中引导其视觉注意。我们收集并研究了一个包含超过 11,698 次注视的数据集，以分类 11 只犬在日常户外环境（即在大学校园和城市区域散步）中可注视的物体。我们利用头戴式眼动追踪装置，探究这些物体类别的可获取性以及犬类在这些类别上的视觉注意。所收集数据的一小部分（约 600 张图像或少于数据集总量的 20%）被用于微调一个 MaskRCNN，以适应这一新颖图像域并分割场景中的物体，从而能够对犬类的视觉注视倾向进行进一步的统计分析。该 MaskRCNN 与眼动追踪装置一起，构成一个端到端模型，用于自动分类犬类的视觉注视。微调后的 MaskRCNN 表现远优于随机水平。11 只犬之间个体差异很小，我们观察到它们对公交车、植物、人行道和施工设备有更强的视觉注视。本工作朝着理解犬类的视觉行为及其与物理世界的交互迈出了一步。
引用
@article{arxiv.2311.11988,
title = {Categorizing the Visual Environment and Analyzing the Visual Attention of Dogs},
author = {Shreyas Sundara Raman and Madeline H. Pelgrim and Daphna Buchsbaum and Thomas Serre},
journal= {arXiv preprint arXiv:2311.11988},
year = {2023}
}
备注
13 pages, 11 figures, 1 table, WACV CV4Smalls Workshop