超越平均:个性化视觉扫描路径预测
计算机视觉与模式识别
2024-04-22 v2
摘要
理解注意力在不同个体之间的差异具有重要的科学和社会影响。然而,现有的视觉扫描路径模型 treats 注意力统一,忽略个体差异。为填补这一差距,本文聚焦于个性化扫描路径预测 (ISP),这是一种新的注意力建模任务,旨在准确预测不同个体在多样化视觉任务中注意力的转移方式。它提出了 ISP 方法,包含三个新型技术组件:(1) 一个观察者编码器来 characterize and 集成观察者独特的注意力特征;(2) 一种观察者中心化特征集成方法,以整体方式组合视觉特征、任务指导和观察者特定特征;(3) 一种自适应固定点优先级机制,通过动态基于个体观察者注意力特征优先级语义特征图来细化扫描路径预测。这三个新组件使扫描路径模型能够有效地解决不同观察者之间的注意力差异。该方法适用于不同数据集、模型架构和视觉任务,为将通用扫描路径模型转换为个性化模型提供了全面的工具。使用基于价值和基于排序的度量进行全面评估,验证了该方法的有效性和通用性。
引用
@article{arxiv.2404.12235,
title = {Beyond Average: Individualized Visual Scanpath Prediction},
author = {Xianyu Chen and Ming Jiang and Qi Zhao},
journal= {arXiv preprint arXiv:2404.12235},
year = {2024}
}
备注
To appear in CVPR2024