Just Rank：以词与句子相似度重思考评测
计算与语言
2022-03-22 v2 人工智能
摘要
词与句子嵌入是自然语言处理中有用的特征表示。然而，针对嵌入的内在评测远远落后，且过去十年间未有显著更新。词与句子相似度任务已成为事实上的评测方法。这导致模型对此类评测过拟合，对嵌入模型的发展产生负面影响。本文首先指出以语义相似度作为词与句子嵌入评测金标准所存在的问题。进而，我们提出一种称为EvalRank的新型内在评测方法，其展现出与下游任务更强的相关性。我们基于60余个模型与流行数据集开展了大量实验以证实我们的判断。最后，我们发布了实用的评测工具包以供未来的基准测试之用。
引用
@article{arxiv.2203.02679,
title = {Just Rank: Rethinking Evaluation with Word and Sentence Similarities},
author = {Bin Wang and C. -C. Jay Kuo and Haizhou Li},
journal= {arXiv preprint arXiv:2203.02679},
year = {2022}
}
备注
Accepted as Main Conference for ACL 2022. Code: https://github.com/BinWang28/EvalRank-Embedding-Evaluation