#REVAL：一种用于标签推荐语义评估的框架

标签推荐模型的自动评估是许多在线社交网络系统中的基础任务。在传统评估方法中，首先将算法推荐的标签与真实标签进行精确匹配比对，然后利用精确匹配的数量来计算命中率、命中比、精确率、召回率或F1分数。这种评估标签相似性的方式是不充分的，因为它忽略了推荐标签与真实标签之间的语义关联。为解决该问题，我们提出一种新颖的标签推荐语义评估框架，称为#REval。该框架包含一个称为BERTag的内部模块，可自动学习标签嵌入。我们研究了在不同词嵌入方法以及不同同义词数量和推荐标签数量下，使用我们提出的#REval-hit-ratio度量时#REval框架的表现。我们在三个大型数据集上对所提框架进行的实验表明，#REval为标签推荐评估提供了更有意义的标签同义词。我们的分析还强调了该框架对词嵌入技术的敏感性，基于BERTag的#REval优于基于FastText和Word2Vec的#REval。