高斯切换采样：一种主动学习的二阶方法
机器学习
2023-02-24 v1
摘要
在主动学习中，采集函数直接在模型流形内的表示位置上定义信息量。然而，对于大多数机器学习模型（特别是神经网络），由于主动学习轮次之间训练池的波动，这种表示并不固定。因此，几种流行策略对实验参数（例如架构）敏感，且未考虑模型对分布外设置的鲁棒性。为缓解此问题，我们提出在主动学习背景下信息内容与样本重要性的一种有依据的二阶定义。具体而言，我们通过神经网络在训练过程中“遗忘”某个样本的频率——二阶表示偏移的伪影——来定义重要性。我们表明，即使模型表示受训练数据缺乏的约束，我们的定义也能产生高度准确的重要性分数。受我们的分析启发，我们开发了高斯切换采样（Gaussian Switch Sampling, GauSS）。我们表明 GauSS 与设置无关且对异常分布鲁棒，并在三个分布内基准、三个分布外基准以及三种不同架构上进行了详尽实验。与四种流行查询策略相比，我们报告了高达 5% 的提升。
引用
@article{arxiv.2302.12018,
title = {Gaussian Switch Sampling: A Second Order Approach to Active Learning},
author = {Ryan Benkert and Mohit Prabhushankar and Ghassan AlRegib and Armin Pacharmi and Enrique Corona},
journal= {arXiv preprint arXiv:2302.12018},
year = {2023}
}