面向领域语义模型评估的聚焦顶端排序自适应投票收集方法
计算与语言
2020-11-24 v1 信息检索
机器学习
机器学习
摘要
在无监督嵌入学习算法近期进展的推动下，语义模型的领域特定应用不断增长，这对领域特定评估数据集提出了需求。在许多情况下（以基于内容的推荐系统为典型例子），这些模型需要根据与给定概念的语义相关性对词或文本进行排序，并特别关注顶端排名。在本工作中，我们为应对这些需求做出三方面贡献：(i) 我们定义了一种基于自适应成对比较的构建协议，用于构建基于相关性的评估数据集，该数据集根据可用资源定制，并优化为在顶端排序评估中尤为精确；(ii) 我们定义了适当的度量指标，即众所周知的排序相关系数之扩展，以通过上述数据集评估语义模型，同时考虑顶端排名的更大重要性。最后，(iii) 我们定义了一个随机传递性模型来模拟语义驱动的成对比较，其证实了所提出的数据集构建协议的有效性。
引用
@article{arxiv.2010.04486,
title = {Top-Rank-Focused Adaptive Vote Collection for the Evaluation of Domain-Specific Semantic Models},
author = {Pierangelo Lombardo and Alessio Boiardi and Luca Colombo and Angelo Schiavone and Nicolò Tamagnone},
journal= {arXiv preprint arXiv:2010.04486},
year = {2020}
}
备注
This is a pre-print of an article published in the proceedings of the 2020 Conference on Empirical Methods in Natural Language Processing (EMNLP)