句子嵌入评估中的陷阱
计算与语言
2019-06-05 v1
摘要
深度学习模型在不同 NLP 任务上不断刷新纪录。同时，它们的成功也暴露出模型评估的弱点。在此，我们汇编了当前非常流行的 NLP 范式——句子嵌入评估中的若干关键陷阱。这些陷阱包括不同尺寸嵌入的比较、嵌入的归一化，以及迁移任务与探测任务之间低（且发散的）相关性。我们的动机是质疑当前句子嵌入的评估方式，并为未来研究提供易于获取的参考。基于我们的见解，我们还推荐了更好的实践方式，以改进未来句子嵌入的评估。
引用
@article{arxiv.1906.01575,
title = {Pitfalls in the Evaluation of Sentence Embeddings},
author = {Steffen Eger and Andreas Rücklé and Iryna Gurevych},
journal= {arXiv preprint arXiv:1906.01575},
year = {2019}
}
备注
Accepted at Repl4NLP 2019