从精确到感知：面向互联网规模语境广告的关键词提取算法的用户中心评估
信息检索
2026-01-19 v2
摘要
关键词提取是自然语言处理中的基础任务，支撑着众多实际应用。其中一种是语境广告，其中关键词帮助预测广告与其周围媒体语境之间的主题一致性，以提升广告效果。人工智能的最新进展提高了关键词提取能力，但也带来了计算成本的顾虑。此外，尽管用户体验至关重要，但人类对关键词提取性能的评估仍鲜有探讨。本研究对常见的关键词提取算法进行比较评估，这些算法由TF-IDF、KeyBERT和Llama~2等不同复杂度层次组成。为评估其有效性，采用混合方法，结合定量基准测试和来自855名参与者的定性评估，通过四项基于调查的实验进行评估。我们的发现表明，KeyBERT在用户偏好和计算效率之间实现了有效的平衡，优于其他算法。我们观察到对黄金标准关键词的明确整体偏好，但算法基准性能与用户评分之间存在错位。这揭示了传统精度导向指标与用户感知算法效率之间的长期悬而未决的鸿沟。本研究强调了人类在循环内评估方法的重要性，并提出了促进其实施的分析工具。
引用
@article{arxiv.2504.21667,
title = {From Precision to Perception: User-Centred Evaluation of Keyword Extraction Algorithms for Internet-Scale Contextual Advertising},
author = {Jingwen Cai and Sara Leckner and Johanna Björklund},
journal= {arXiv preprint arXiv:2504.21667},
year = {2026}
}