关于 TREC RTS 你想知道的一切*（*但不敢问）
信息检索
2017-12-14 v1
摘要
TREC 实时摘要（RTS）赛道提供了一个框架，用于评估监控系统 Twitter 流并根据给定画像向用户推送推文的系统。它包括组织者提供的度量指标、文件、设置与假设。在本文中，我们对 2016 和 2017 年使用的该框架各组成部分进行了透彻分析，并发现了该赛道 Scenario A 的一些局限性。我们的主要发现指出了度量指标的弱点，并给出了公平复用该数据集的明确建议。
引用
@article{arxiv.1712.04671,
title = {Everything You Always Wanted to Know About TREC RTS* (*But Were Afraid to Ask)},
author = {Gilles Hubert and Jose G. Moreno and Karen Pinel-Sauvagnat and Yoann Pitarch},
journal= {arXiv preprint arXiv:1712.04671},
year = {2017}
}