将文本信息性度量扩展至段落趣味性评估（语言模型 vs. 词嵌入）
信息检索
2020-04-16 v1 计算与语言
摘要
用于评估自动文本摘要的标准信息性度量主要依赖于自动摘要与参考摘要之间的 n-gram 重叠。这些度量在所采用的指标（余弦、ROUGE、Kullback-Leibler、对数相似度等）以及所考虑的术语袋（单词、词 n-gram、实体、要点等）上有所不同。近期的词嵌入方法为基于文本单元存在/缺失的离散方法提供了一种连续的替代方案。信息性度量已被扩展至聚焦信息检索（Focus Information Retrieval）评估，其中用户的信息需求由短查询表示。特别是在 CLEF-INEX 推文情境化任务中，推文内容被视为查询。在本文中，我们将趣味性（Interestingness）概念定义为信息性（Informativeness）的推广，其中信息需求是多样的，并被形式化为一组未知的隐式查询。随后我们研究了最先进的信息性度量应对这一推广的能力。最近我们表明，在这一新框架下，标准词嵌入仅在 uni-gram 上优于离散度量，然而 bi-gram 似乎是趣味性评估的一个关键点。最后我们证明，CLEF-INEX 推文情境化 2012 的对数相似度度量提供了最佳结果。
引用
@article{arxiv.2004.06747,
title = {Extending Text Informativeness Measures to Passage Interestingness Evaluation (Language Model vs. Word Embedding)},
author = {Carlos-Emiliano González-Gallardo and Eric SanJuan and Juan-Manuel Torres-Moreno},
journal= {arXiv preprint arXiv:2004.06747},
year = {2020}
}