模型是否学习了关系的方向性？一种新评测：关系方向识别
计算与语言
2021-12-02 v3
摘要
BERT 等深度神经网络在关系分类上已取得巨大进展。尽管它们能获得良好性能，这些模型是否识别了关系的方向性仍是一个令人关切的问题，尤其当它们可能缺乏可解释性时。为探究该问题，本文提出一种称为关系方向识别（RDR）的新颖评测任务，以探索模型是否学习了关系的方向性。我们引入三项 RDR 指标来衡量模型识别关系方向性的程度。若干前沿模型在 RDR 上接受评测。在真实世界数据集上的实验结果表明，即便这些模型在传统指标（如 Macro-F1）上表现相近，它们在识别关系方向性方面仍存在明显差距。最后，我们从模型设计或训练的角度讨论了一些用以增强模型识别关系方向性的建议。
引用
@article{arxiv.2105.09045,
title = {Do Models Learn the Directionality of Relations? A New Evaluation: Relation Direction Recognition},
author = {Shengfei Lyu and Xingyu Wu and Jinlong Li and Qiuju Chen and Huanhuan Chen},
journal= {arXiv preprint arXiv:2105.09045},
year = {2021}
}
备注
10 pages, 4 figures. accepted by IEEE Transactions on Emerging Topics in Computational Intelligence (TETCI)