使用人类注意力训练更好的深度学习模型
计算机视觉与模式识别
2024-10-22 v1
摘要
本工作探讨了如何将人类关于图像显著区域的判断引入到深度卷积神经网络(DCNN)的训练中。传统上，DCNN的训练是纯数据驱动的。这会导致学习到的特征仅偶然与类别标签相关。人类注意力可通过我们提出的损失函数组件（称为ConveYs Brain Oversight to Raise Generalization (CYBORG)）来指导网络训练，对模型使用非显著区域进行惩罚。这种机制会产生在使用相同训练数据且不包含人类注意力指导的条件下，达到更高准确率和更好泛化能力的DCNN。实验结果表明，CYBORG适用于多种网络架构和问题领域（如人脸检测、虹膜攻击识别和胸部X光片异常检测），且在不使用人类注意力指导的情况下所需的数据量显著减少。可视化结果显示，CYBORG训练的模型其注意力在独立训练运行之间更一致，也更符合人类的判断。为降低收集人类注释的成本，我们还探索了使用深度学习提供自动注释。CYBORG训练的CNN解决了诸多重要问题，如减少对大规模训练数据的需求、提高可解释性以及通过更好地泛化到新类型数据来降低脆弱性。
引用
@article{arxiv.2410.16190,
title = {Training Better Deep Learning Models Using Human Saliency},
author = {Aidan Boyd and Patrick Tinsley and Kevin W. Bowyer and Adam Czajka},
journal= {arXiv preprint arXiv:2410.16190},
year = {2024}
}