语言理解任务中语言知识融合的实证再探
计算与语言
2022-10-25 v1
摘要
尽管大规模语言模型预训练过程中会涌现出语言知识，近期工作尝试将人工定义的语言先验显式地融入特定任务的微调中。将来自解析器的句法或语义知识注入语言模型，已在许多语言理解任务上展现出改进。为进一步探究结构化语言先验的有效性，我们对 GLUE 基准中的任务开展实证研究，将解析得到的图或树替换为几乎不携带语言知识的平凡结构（如平衡树）。在完全监督与少样本设定下，使用平凡图进行编码取得了具有竞争力甚至更优的性能。这表明，性能提升可能并非显著归因于显式的语言先验，而是源于融合层带来的更多特征交互。因此，我们呼吁在未来设计先进的知识融合方法时，将平凡图作为必要的基线。
引用
@article{arxiv.2210.13002,
title = {An Empirical Revisiting of Linguistic Knowledge Fusion in Language Understanding Tasks},
author = {Changlong Yu and Tianyi Xiao and Lingpeng Kong and Yangqiu Song and Wilfred Ng},
journal= {arXiv preprint arXiv:2210.13002},
year = {2022}
}
备注
EMNLP 2022 Main Conference