InfFeed：将影响函数作为反馈以提升主观任务的性能
计算与语言
2024-03-12 v2
摘要
近年来，影响函数通过量化可能影响测试预测的个体训练实例的扰动，为深度神经模型提供了一种实现可解释性的机制。我们在本文中的目标有两个。首先，我们将影响函数作为反馈纳入模型以提高其性能。其次，在数据集扩展任务中，使用影响函数自动识别最初由某种现有方法标注为“银标准”且需要标注员交叉检查（并纠正）以提高模型性能的数据点。为了实现这些目标，本文引入了 InfFeed，它使用影响函数来计算目标实例的影响实例。针对第一个目标，我们根据目标实例的影响者标签调整目标实例的标签。在此过程中，对于仇恨言论分类，InfFeed 的性能优于最先进的基线方法（包括 LLMs），宏 F1 分数最高提升近 4%；对于立场分类提升 3.5%；对于反讽检测提升 3%；对于讽刺检测提升 2%。针对第二个目标，我们表明，仅手动重新标注扩展集中那些具有负面影响的标准标注数据点，就能极大地提升模型性能，使其非常接近扩展集中所有数据点都具有金标准标签的场景。这使得需要手动标注的数据点数量大幅减少，因为在银标准标注的扩展数据集中，影响函数方案仅提取出约 1/1000 需要手动纠正的数据点。
引用
@article{arxiv.2402.14702,
title = {InfFeed: Influence Functions as a Feedback to Improve the Performance of Subjective Tasks},
author = {Somnath Banerjee and Maulindu Sarkar and Punyajoy Saha and Binny Mathew and Animesh Mukherjee},
journal= {arXiv preprint arXiv:2402.14702},
year = {2024}
}
备注
Accepted at LREC-COLING 2024 (Long Paper)