命中率：一种标签推荐的评价指标
信息检索
2020-10-06 v1 机器学习
摘要
标签推荐是一项关键任务，尤其在过去十年中对 Twitter 等社交媒体平台使用兴趣增长的背景下。标签推荐系统在用户撰写推文时自动建议标签。标签推荐领域的大多数研究使用经典指标如命中率、精确率、召回率和 F1 分数来衡量标签推荐系统的准确性。这些指标基于推荐标签与对应真值标签的精确匹配。然而，这些指标在评估标签推荐时的充分性并不明确。我们寻求回答的研究问题是：当推文中真值标签数量高度可变时，这些指标是否足以评估标签推荐系统？本文提出一种称为命中率 (hit ratio) 的新指标用于标签推荐。通过假设示例和跨一系列标签推荐模型的真实世界应用的广泛评估表明，命中率是一种有用的指标。命中率与经典评价指标的比较揭示了它们的局限性。
引用
@article{arxiv.2010.01258,
title = {Hit ratio: An Evaluation Metric for Hashtag Recommendation},
author = {Areej Alsini and Du Q. Huynh and Amitava Datta},
journal= {arXiv preprint arXiv:2010.01258},
year = {2020}
}