SAGE：基于对比嵌入的显著性引导方法

将人类感知先验整合到神经网络训练中，已被证明可提升模型的泛化能力，作为有效正则化器，并使模型在高风险领域的应用与人类专家意识相吻合。现有方法整合显著性通常依赖模型内部机制，而近期研究表明这些机制可能不可靠。我们的洞见是，许多与显著性引导训练相关的挑战，源于将引导方法仅置于图像空间。我们转向图像空间之外，使用模型的潜在空间嵌入来在训练期间引导人类指导，并提出 SAGE（Saliency-Guided Contrastive Embeddings）：一种集成人类显著性的对比嵌入损失函数。我们对输入应用显著性保存和显著性退化信号增强，并捕捉嵌入和模型逻辑 logits 的变化。通过对比三元组损失引导模型聚焦显著特征并远离非显著特征。此外，我们对逻辑分布进行合理性检验，以确保模型输出与显著性增强相匹配。我们在开放集和封闭集场景下均对比 SOTA 显著性方法实现了分类性能提升，显示 SAGE 在 various backbones 上都有效，并包含实验表明其在 various 任务上的广泛泛化。