基于超网络的无监督深度离群模型快速选择
机器学习
2024-08-27 v3 人工智能
摘要
离群检测（OD）有着丰富技术与广泛应用的文献。基于深度神经网络的 OD（DOD）得益于深度学习的诸多进展而近期受到大量关注。本文考虑无监督 DOD 中一个关键却研究不足的挑战，即有效的超参数（HP）调优/模型选择。尽管若干先前工作报道了 OD 模型对 HP 的敏感性，但对于具有一长串 HP 的现代 DOD 模型而言，该问题变得尤为关键。我们引入 HYPER 用于调优 DOD 模型，应对两个基本挑战：（1）无监督下的验证（由于缺乏标记异常），以及（2）HP/模型空间的高效搜索（由于 HP 数量呈指数增长）。一个核心思想是设计并训练一个新颖的超网络（HN），将 HP 映射到主 DOD 模型的最优权重。进而，HYPER 利用单个 HN 动态生成许多 DOD 模型（对应不同 HP）的权重，从而带来显著加速。此外，它通过对带标记的历史 OD 任务进行元学习来训练代理验证函数，同样以我们提出的 HN 高效训练。在 35 个 OD 任务上的大量实验表明，HYPER 相较 8 个基线取得了高性能，并具有显著的效率提升。
引用
@article{arxiv.2307.10529,
title = {Fast Unsupervised Deep Outlier Model Selection with Hypernetworks},
author = {Xueying Ding and Yue Zhao and Leman Akoglu},
journal= {arXiv preprint arXiv:2307.10529},
year = {2024}
}
备注
12 pages, 7 figures, accepted at KDD 2024