深度异常检测中的超参数敏感性：分析及可扩展超集成解决方案
机器学习
2022-10-20 v2 人工智能
统计方法学
摘要
异常检测（OD）文献展示了大量应用于不同领域的算法。然而，给定一个新检测任务，在无人监督的设置下，如何选择使用的算法以及如何设置其超参数（HPs）并不明确。随着许多基于深度学习的新检测器的出现，HP调优成为一个日益增长的问题，这些检测器通常带有一长串HP。令人惊讶的是，异常挖掘文献中的模型选择问题一直是“房间里的大象”；它是释放深度方法最大潜力的关键因素，但很少有人系统地解决该问题。在本文的第一部分，我们对深度OD方法的HP敏感性进行了首次大规模分析，并通过超过35,000个训练模型，定量证明了模型选择是不可避免的。接下来，我们设计了一个HP鲁棒且可扩展的深度超集成模型ROBOD，它集成了具有不同HP配置的模型，避开了选择困难。重要的是，我们引入了加速集成训练的新策略，如参数共享、批量/同时训练和数据子采样，使我们能用更少的参数训练更少的模型。在图像和表格数据集上的大量实验表明，与现代同类方法相比，ROBOD达到并保持了鲁棒的最先进检测性能，同时仅花费朴素独立训练超集成所需时间的2%-10%。
引用
@article{arxiv.2206.07647,
title = {Hyperparameter Sensitivity in Deep Outlier Detection: Analysis and a Scalable Hyper-Ensemble Solution},
author = {Xueying Ding and Lingxiao Zhao and Leman Akoglu},
journal= {arXiv preprint arXiv:2206.07647},
year = {2022}
}
备注
19 pages, The code is available at: https://github.com/xyvivian/ROBOD