基于结构化神经深度搜索的深度主动学习
机器学习
2023-06-06 v1 人工智能
摘要
先前工作基于数据复杂度变化，通过增量神经网络架构搜索（Active-iNAS）优化传统主动学习（AL）流程，提升了准确率与学习效率。然而，Active-iNAS 在每个主动学习周期后训练多个模型，并选取泛化性能最佳的模型用于查询后续样本。这种独立的训练过程导致难以承受的计算开销，效率极低，并限制了搜索灵活性与最终性能。为解决该问题，我们提出一种新颖的主动策略，采用称为结构化变分推断（SVI）或结构化神经深度搜索（SNDS）的方法，从而在主动学习流程中于神经网络深度搜索上使用梯度下降法。同时，我们从理论上证明当前基于平均场假设的 VI 方法会导致较差性能。我们使用三种查询技术与三个数据集应用我们的策略，结果表明该策略优于现有方法。
引用
@article{arxiv.2306.02808,
title = {Deep Active Learning with Structured Neural Depth Search},
author = {Xiaoyun Zhang and Xieyi Ping and Jianwei Zhang},
journal= {arXiv preprint arXiv:2306.02808},
year = {2023}
}
备注
10 pages, 8 figures, prepare for TNNLS