深度单类分类中简单有效的模式崩溃预防方法
机器学习
2021-01-20 v4 机器学习
摘要
异常检测算法在各领域得到广泛应用。得益于深度学习，该研究领域近来取得重大进展。近期方法深度支持向量数据描述（deep SVDD）受经典基于核的支持向量数据描述（SVDD）启发，能够同时学习数据的特征表示与包络超球。该方法在无监督与半监督设定下均展现出良好前景。然而，若模型架构不符合某些架构约束（例如移除偏置项），深度 SVDD 会遭受超球崩溃——亦称模式崩溃。这些约束限制了模型的适应性，且在某些情况下，可能因学习到次优特征而影响模型性能。本工作中，我们考虑两种正则化项以预防深度 SVDD 中的超球崩溃。第一种正则化项基于通过标准交叉熵损失注入随机噪声。第二种正则化项在最小批方差过小时对其进行惩罚。此外，我们引入自适应加权方案以控制 SVDD 损失与相应正则化项之间的惩罚量。我们提出的深度 SVDD 正则化变体展现出令人鼓舞的结果，并在异常无明显几何结构的设定下优于一种突出的 SOTA 方法。
引用
@article{arxiv.2001.08873,
title = {Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification},
author = {Penny Chong and Lukas Ruff and Marius Kloft and Alexander Binder},
journal= {arXiv preprint arXiv:2001.08873},
year = {2021}
}
备注
Accepted in 2020 International Joint Conference on Neural Networks (IJCNN)