主谓词及其论元作为意图分类的解释信号
计算与语言
2025-02-04 v1
摘要
意图分类对于对话代理(聊天机器人)至关重要，深度学习模型在该领域表现良好。然而，由于缺乏合适的基准数据，关于意图分类可解释性的研究很少。在文本样本中人工标注解释信号既耗时又成本高昂。然而，通过对意图分类数据的观察，我们发现，通常情况下，主要动词表示动作，直接宾语指示对话领域，它们可作为意图的解释信号。这一观察使我们能够假设，文本话语中的主谓词及其论元可以作为解释信号。利用这一点，我们引入一种新技术，自动为意图分类数据集中的文本样本增加词级解释。我们在基准意图分类数据集ATIS和SNIPS中将主谓词(主要是动词)及其论元(依存关系)标记为解释信号，创建了一个独特的21k实例数据集用于可解释性研究。此外，我们使用深度学习和语言模型进行实验。我们观察到，在分类上表现良好的模型在可解释性指标(如合理性和忠实性)上表现不佳。我们还观察到，在训练期间引导模型关注我们数据集中的解释信号，可以将合理性Token F1分数提高3-4%，从而改善模型的推理能力。
引用
@article{arxiv.2502.01270,
title = {Main Predicate and Their Arguments as Explanation Signals For Intent Classification},
author = {Sameer Pimparkhede and Pushpak Bhattacharyya},
journal= {arXiv preprint arXiv:2502.01270},
year = {2025}
}