密集连接能否有益于异常检测？与神经架构搜索的奥德赛
机器学习
2024-06-05 v1 计算机视觉与模式识别
摘要
分布外(OOD)检测的最新进展是卷积神经网络(CNN)在现实世界应用中安全可靠部署的驱动力。然而，现有研究侧重于通过置信度和深度生成模型方法进行OOD检测，没有考虑DNN结构的影响，特别是架构构造中的密集连接。此外，现有的异常检测方法在泛化性能上表现出高方差，缺乏评估和排序不同异常检测器的稳定性和置信度。在这项工作中，我们提出了一种新颖的范式——异常检测器的密集连接搜索(DCSOD)，它使用神经架构搜索(NAS)自动探索CNN架构在近OOD检测任务上的密集连接。我们引入了一个包含多种卷积算子和密集连接的分层搜索空间，允许灵活探索具有不同连接模式的CNN架构。为了提高搜索过程中OOD检测评估的质量，我们提出了基于多视图特征学习解释的演化蒸馏。演化蒸馏稳定了OOD检测评估的训练，从而提高了搜索质量。我们在OOD检测协议下对CIFAR基准进行了彻底检查。实验结果表明，DCSOD在广泛使用的架构和先前的NAS基线上取得了显著性能。值得注意的是，DCSOD在CIFAR基准上达到了最先进(SOTA)性能，AUROC提升了约1.0%。
引用
@article{arxiv.2406.01975,
title = {Can Dense Connectivity Benefit Outlier Detection? An Odyssey with NAS},
author = {Hao Fu and Tunhou Zhang and Hai Li and Yiran Chen},
journal= {arXiv preprint arXiv:2406.01975},
year = {2024}
}