自然语言任务中跨多领域的主动学习
计算与语言
2022-02-09 v2 机器学习
摘要
主动学习的传统研究假设目标数据与源数据来自单一领域。然而，在实际应用中，实践者常常需要面对具有多个分布外数据源的主动学习，且事先并不清楚哪些数据源会有助于或损害目标领域。我们调研了主动学习（AL）、域偏移检测（DS）和多领域采样的多种技术，以考察这一针对问答和情感分析的挑战性设定。我们提出：（1）哪类方法对该任务有效？以及（2）所选示例和领域的哪些属性能取得强劲结果？在来自 4 类方法的 18 种采集函数中，我们发现 H-散度方法，尤其是我们提出的变体 DAL-E，产生了有效结果，较随机基线平均提升 2-3%。我们还展示了领域多样化分配的重要性，以及现有方法在领域和示例选择上存在的改进空间。我们的发现为面临自然语言任务多领域主动学习的实践者提供了对现有及新颖方法的首次全面分析。
引用
@article{arxiv.2202.00254,
title = {Active Learning Over Multiple Domains in Natural Language Tasks},
author = {Shayne Longpre and Julia Reisler and Edward Greg Huang and Yi Lu and Andrew Frank and Nikhil Ramesh and Chris DuBois},
journal= {arXiv preprint arXiv:2202.00254},
year = {2022}
}