分布偏移下特征反馈的实际效益
计算与语言
2022-10-18 v2 人工智能
机器学习
摘要
为了开发样本高效且可解释的算法，研究者们探索了多种收集和利用特征反馈（或理由）的机制，这些反馈是为训练（而非测试）实例提供的辅助标注，用于突出显著证据。例子包括物体周围的边界框和文本中的显著片段。尽管特征反馈具有直观的吸引力，但在独立同分布保留集上评估时，它并未在实际问题中带来显著增益。然而，近期关于反事实增强数据的研究表明，补充标注除了可解释性之外，还有另一个好处：降低对虚假模式的敏感性，从而在域外评估中带来增益。我们推测，虽然现有的特征反馈融合方法在样本内性能增益上微乎其微，但它们可能仍能提供域外收益。我们针对情感分析的实验表明，尽管域内评估结果相当，但特征反馈方法在各种自然域外数据集上的表现显著更好。相比之下，在自然语言推理上的性能仍然相当。最后，我们比较了特征反馈有帮助（和没有帮助）的那些任务。
引用
@article{arxiv.2110.07566,
title = {Practical Benefits of Feature Feedback Under Distribution Shift},
author = {Anurag Katakkar and Clay H. Yoo and Weiqin Wang and Zachary C. Lipton and Divyansh Kaushik},
journal= {arXiv preprint arXiv:2110.07566},
year = {2022}
}