ALLSH：由局部敏感性与难度引导的主动学习
计算与语言
2022-09-27 v2 人工智能
机器学习
摘要
主动学习通过有效收集信息丰富的未标注数据进行标注，从而降低对标注数据的需求。在本工作中，我们提出利用局部敏感性与难度感知的采集函数检索未标注样本。所提方法通过局部扰动生成数据副本，并选择预测似然与其副本偏离最大的数据点。我们进一步通过注入最差情况扰动来增强采集函数。在多种分类任务中，我们的方法相对于常用的主动学习策略取得了持续增益。此外，在基于提示的少样本学习的提示选择研究中，我们观察到相对于基线的一致改进。这些实验表明，由局部敏感性与难度引导的采集对许多自然语言处理任务有效且有益。
引用
@article{arxiv.2205.04980,
title = {ALLSH: Active Learning Guided by Local Sensitivity and Hardness},
author = {Shujian Zhang and Chengyue Gong and Xingchao Liu and Pengcheng He and Weizhu Chen and Mingyuan Zhou},
journal= {arXiv preprint arXiv:2205.04980},
year = {2022}
}
备注
NAACL 2022 (finding); Our code is publicly available at https://github.com/szhang42/allsh