细粒度分类中的人类注意力
计算机视觉与模式识别
2021-11-03 v1
摘要
人类关注、处理并分类给定图像的方式具有极大提升深度学习模型性能的潜力。利用人类的注视焦点，可以在模型偏离正确决策所需的关键特征时对其进行纠正。为验证人类注意力包含对细粒度分类等决策过程有价值的信息，我们比较了人类注意力与模型解释在发现重要特征方面的表现。为此，我们收集了细粒度分类数据集 CUB 的人类注视数据，并构建了名为 CUB-GHA（基于注视的人类注意力）的数据集。此外，我们提出了注视增强训练（GAT）和知识融合网络（KFN），将人类注视知识整合到分类模型中。我们在 CUB-GHA 和近期发布的包含放射科医生注视数据的胸部 X 光医学数据集 CXR-Eye 上实现了所提出的方法。结果表明，整合人类注意力知识能有效提升分类性能，例如在 CXR 上将基线提高了 4.38%。因此，我们的工作不仅为理解细粒度分类中的人类注意力提供了宝贵见解，也为未来将人类注视与计算机视觉任务相结合的研究做出了贡献。CUB-GHA 及代码已发布于 https://github.com/yaorong0921/CUB-GHA。
引用
@article{arxiv.2111.01628,
title = {Human Attention in Fine-grained Classification},
author = {Yao Rong and Wenjia Xu and Zeynep Akata and Enkelejda Kasneci},
journal= {arXiv preprint arXiv:2111.01628},
year = {2021}
}
备注
19 pages, 9 figures