I-MPN：用于移动眼动追踪数据高效人在回路标注的归纳式消息传递网络
计算机视觉与模式识别
2024-07-09 v2
摘要
理解人类在动态环境中如何处理视觉信息对于心理学和以用户为中心的交互设计至关重要。虽然结合自我中心视频和注视信号的移动眼动追踪系统能够提供有价值的见解，但对这些记录进行手动分析非常耗时。在这项工作中，我们提出了一种新颖的以人为中心的学习算法，旨在用于移动眼动追踪环境中的自动目标识别。我们的方法将目标检测器与空间关系感知的归纳式消息传递网络（I-MPN）无缝集成，利用节点配置信息并捕捉目标相关性。这些机制使我们能够学习可泛化到新目标角度视图的嵌入函数，从而在用户导航其环境时促进动态环境中的快速适应和高效推理。通过在三个不同视频序列上进行的实验，我们基于交互的方法展示了相较于固定训练/测试算法的显著性能提升，即使在通过用户反馈收集的相当小的标注样本上进行训练时也是如此。此外，我们证明了在数据标注过程中的卓越效率，并超越了先前使用完整目标检测器、将检测器与卷积网络结合或采用交互式视频分割的交互方法。
引用
@article{arxiv.2406.06239,
title = {I-MPN: Inductive Message Passing Network for Efficient Human-in-the-Loop Annotation of Mobile Eye Tracking Data},
author = {Hoang H. Le and Duy M. H. Nguyen and Omair Shahzad Bhatti and Laszlo Kopacsi and Thinh P. Ngo and Binh T. Nguyen and Michael Barz and Daniel Sonntag},
journal= {arXiv preprint arXiv:2406.06239},
year = {2024}
}
备注
Updated version