训练双编码器用于词义消歧
计算与语言
2021-05-24 v1
摘要
现代基于 Transformer 的神经架构在几乎所有 NLP 任务中都取得了令人印象深刻的成果，而词义消歧（即在给定语境中辨别词的正确义项的问题）也不例外。当前 WSD 的最优方法利用词汇信息以及这些模型的预训练嵌入，在标准评测基准上达到可与人工标注者间一致性相媲美的结果。同样地，我们尝试了多种策略来针对这一特定任务优化双编码器，并提出了向模型呈现词汇信息的替代方法。通过我们的多阶段预训练与微调流程，我们推进了词义消歧领域的最优水平。
引用
@article{arxiv.2105.10146,
title = {Training Bi-Encoders for Word Sense Disambiguation},
author = {Harsh Kohli},
journal= {arXiv preprint arXiv:2105.10146},
year = {2021}
}
备注
15 pages, 5 figures. Accepted at the 16th International Conference on Document Analysis and Recognition ICDAR 2021