利用变化理论进行反事实数据增强以优化主动学习
机器学习
2025-06-03 v2 计算与语言
人机交互
摘要
主动学习(AL)允许模型从用户反馈中交互式地学习。本文提出了一种反事实数据增强方法用于主动学习,特别针对用户查询的数据点选择这一提升数据效率的关键问题。我们的方法受变化理论的启发,该理论是人类概念学习的一种理论,强调通过关注什么保持不变和什么发生变化来突出概念的本质特征。我们的方法不仅使用现有数据点进行查询,而是通过结合大语言模型(LLMs)和基于规则的模型的神经符号流水线,合成突出标签间潜在关键相似性和差异的人工数据点。通过在文本分类示例领域的实验,我们证明当标注数据较少时,我们的方法取得了显著更高的性能。随着标注训练数据的增大,生成数据的影响开始减弱,这表明其具有解决主动学习中冷启动问题的能力。本研究为将人类学习理论融入主动学习的优化提供了启示。
引用
@article{arxiv.2408.03819,
title = {Leveraging Variation Theory in Counterfactual Data Augmentation for Optimized Active Learning},
author = {Simret Araya Gebreegziabher and Kuangshi Ai and Zheng Zhang and Elena L. Glassman and Toby Jia-Jun Li},
journal= {arXiv preprint arXiv:2408.03819},
year = {2025}
}
备注
Accepted to ACL 2025 Findings