利用人物属性进行交互感知的联合注意力估计
计算机视觉与模式识别
2023-08-11 v1
摘要
本文提出单图像中的联合注意力估计。不同于仅独立使用人物注视相关属性的相关工作，本文（I）将其位置与动作也作为上下文线索以加权其属性，（ii）这些方法属性间的交互在我们的方法中被显式建模。对于交互建模，我们提出一种新颖的基于Transformer的注意力网络，将联合注意力编码为低维特征。我们为Transformer引入带位置嵌入的专用MLP头，从而预测联合注意力的像素级置信度以生成置信度热图。该像素级预测通过避免从低维特征预测高维热图这一病态问题，提升了热图精度。估计出的联合注意力通过与基于图像的通用注意力估计相融合而进一步优化。在对比实验中，我们的方法在定量上优于SOTA方法。代码：https://anonymous.4open.science/r/anonymized_codes-ECA4。
引用
@article{arxiv.2308.05382,
title = {Interaction-aware Joint Attention Estimation Using People Attributes},
author = {Chihiro Nakatani and Hiroaki Kawashima and Norimichi Ukita},
journal= {arXiv preprint arXiv:2308.05382},
year = {2023}
}
备注
Accepted to ICCV2023