非组合与组合表达式的统一表示
计算与语言
2023-10-31 v1
摘要
对非组合语言进行准确处理依赖于为这类表达式生成良好的表示。本工作中，我们通过提出一种语言模型 PIER 来研究语言非组合性的表示，该模型构建于 BART 之上，能够为英语中潜在惯用表达式（PIEs）创建语义上有意义且符合上下文的表示。PIEs 的特征在于其在字面与惯用解释上的非组合性以及上下文歧义。通过对嵌入质量的内在评估和针对 PIE 处理与 NLU 任务的外在评估，我们表明 PIER 生成的表示在嵌入聚类上的同质性分数比 BART 高 33%，而在 PIE 词义分类和跨度检测上相比最优的 IE 表示模型 GIEA，准确率和序列准确率分别提升 3.12% 和 3.29%。这些提升是在不牺牲 PIER 于 NLU 任务上相较 BART 性能（准确率 +/- 1%）的前提下实现的。
引用
@article{arxiv.2310.19127,
title = {Unified Representation for Non-compositional and Compositional Expressions},
author = {Ziheng Zeng and Suma Bhat},
journal= {arXiv preprint arXiv:2310.19127},
year = {2023}
}
备注
This work is accepted to EMNLP 2023 Findings