CYBORG：将人类显著性融入损失函数以提升深度学习性能
计算机视觉与模式识别
2022-08-19 v3
摘要
如果深度学习的训练以人类感知能力为参照进行引导，模型能否实现更好的泛化？我们又如何以实用方式实现这一点？本文提出一种训练策略，将大脑监督传递给模型以提升泛化能力（CYBORG）。这种新方法将人类标注的显著性图纳入损失函数，引导模型的学习聚焦于人类认为对任务显著的图像区域。利用类激活映射（CAM）机制探查模型在每个训练批次中的当前显著性，将该模型显著性与人类显著性并列比较，并对较大差异进行惩罚。在合成人脸检测任务上的结果表明该方法的有效性，显示CYBORG在由六个生成对抗网络（GAN）生成的跨多种分类网络架构的未见人脸图像样本上显著提升了准确率。我们还表明，即便将训练数据扩展到七倍，或使用非人类显著性的辅助信息（如分割掩码）及标准损失，都无法击败CYBORG训练模型的表现。作为本工作的副作用，我们观察到在合成人脸检测任务中添加显式区域标注提高了人类分类准确率。本工作开辟了如何将人类视觉显著性实际融入损失函数的新研究方向。本工作所用的所有数据、代码和预训练模型均随文提供。
引用
@article{arxiv.2112.00686,
title = {CYBORG: Blending Human Saliency Into the Loss Improves Deep Learning},
author = {Aidan Boyd and Patrick Tinsley and Kevin Bowyer and Adam Czajka},
journal= {arXiv preprint arXiv:2112.00686},
year = {2022}
}