SMSMix：用于词义消歧的义项保持句子混合增强方法
计算与语言
2022-12-22 v2 机器学习
摘要
词义消歧（WSD）是一项NLP任务，旨在从离散的义项选项中确定句子中某词的正确义项。尽管当前系统在此类任务上取得了前所未有的性能，但训练期间词义的非均匀分布通常导致系统对罕见义项表现不佳。为此，我们考虑通过数据增强来提高这些最频繁出现频率最低的义项（LFS）的频率，以减少训练时义项的分布偏差。我们提出义项保持句子混合（SMSMix），一种新颖的词级mixup方法，可保持目标词的义项。SMSMix利用掩码预测平滑地混合两个句子，同时保留由显著性分数确定的相关跨度以维持特定词的义项。据我们所知，这是在保持特定词含义的同时将mixup应用于NLP的首次尝试。通过大量实验，我们验证了我们的增强方法能够在训练期间有效提供关于罕见义项的更多信息，同时保持目标义项标签。
引用
@article{arxiv.2212.07072,
title = {SMSMix: Sense-Maintained Sentence Mixup for Word Sense Disambiguation},
author = {Hee Suk Yoon and Eunseop Yoon and John Harvill and Sunjae Yoon and Mark Hasegawa-Johnson and Chang D. Yoo},
journal= {arXiv preprint arXiv:2212.07072},
year = {2022}
}
备注
EMNLP2022