基于自监督辅助模型的深度神经网络上下文分类
机器学习
2021-05-27 v1 计算机视觉与模式识别
摘要
使用深度神经网络（DNNs）解决的分类问题通常依赖于封闭世界范式，并针对单一目标进行优化（例如，最小化交叉熵损失）。这种设置忽略了所有可用于强化特定模式存在或缺失的辅助信号。对天生可解释模型的需求日益增长，使得纳入上述上下文信号成为关键必要。为此，我们引入了自监督自生学习（SSAL）模型的概念。SSAL目标通过一个或多个从原始监督分类任务派生出的附加目标来实现，遵循多任务学习中的架构原则。SSAL分支将低级先验（例如，分组）注入优化过程。在推理期间使用SSAL分支的能力使模型收敛更快，聚焦于更丰富的类相关特征集合。我们表明，SSAL模型在持续优于SOTA的同时，还提供了更具可解释性的结构化预测。
引用
@article{arxiv.2101.03057,
title = {Contextual Classification Using Self-Supervised Auxiliary Models for Deep Neural Networks},
author = {Sebastian Palacio and Philipp Engler and Jörn Hees and Andreas Dengel},
journal= {arXiv preprint arXiv:2101.03057},
year = {2021}
}
备注
Accepted for publication at the International Conference of Pattern Recognition (ICPR) 2020