让 BART 搭上习语列车：学习表征习语表达
计算与语言
2022-07-11 v1 机器学习
摘要
习语表达（IE）以其非组合性为特征，是自然语言的重要组成部分。它们一直是 NLP 的经典挑战，包括驱动当今最优性能的预训练语言模型。先前工作已指出其上下文表征的缺陷源于表征底层的组合范式。在本文中，我们采用第一性原理方法，通过使用适配器作为在习语句子上训练的轻量级非组合语言专家，将习语性构建进 BART。相较于基线（如 BART）的提升能力通过内在与外在方法得以体现：习语嵌入在嵌入聚类的同质性分数上高出 0.19 分，在 IE 词义消歧与跨度检测等习语处理任务上序列准确率最高高出 25%。
引用
@article{arxiv.2207.03679,
title = {Getting BART to Ride the Idiomatic Train: Learning to Represent Idiomatic Expressions},
author = {Ziheng Zeng and Suma Bhat},
journal= {arXiv preprint arXiv:2207.03679},
year = {2022}
}
备注
This paper is accepted by Transactions of the Association for Computational Linguistics (TACL)