带切换事件的遗忘式主动学习：面向分布外数据的高效采样
机器学习
2023-01-13 v1 计算机视觉与模式识别
摘要
本文研究深度分布外主动学习。在实践中，完全训练的神经网络会与分布外输入随机交互，并将异常样本随机映射到模型表示空间内。由于数据表示是训练分布的直接体现，数据选择过程对于离群值鲁棒性起着至关重要的作用。对于主动学习等范式，这尤其具有挑战性，因为协议不仅必须最有效地提升在训练分布上的性能，还要进一步构建一个鲁棒的表示空间。然而，现有策略直接基于未标注数据的数据表示进行数据选择，而根据定义，分布外样本的数据表示是随机的。为此，我们引入了带切换事件的遗忘式主动学习——一种用于分布外主动学习的新颖主动学习协议。我们不是直接在数据表示上定义样本重要性，而是通过训练过程中的学习难度来定义“信息量”。具体来说，我们近似计算网络“遗忘”未标注样本的频率，并查询最“被遗忘”的样本进行标注。我们在超过270个实验中报告了高达4.5%的准确率提升，这些实验涵盖了四种常用协议、两个分布外基准、一个分布内基准以及三种不同的架构。
引用
@article{arxiv.2301.05106,
title = {Forgetful Active Learning with Switch Events: Efficient Sampling for Out-of-Distribution Data},
author = {Ryan Benkert and Mohit Prabhushankar and Ghassan AlRegib},
journal= {arXiv preprint arXiv:2301.05106},
year = {2023}
}