JIR-Arena：首个即时信息推荐基准数据集

即时信息推荐（JIR）是一种旨在在用户需要时精准提供最相关信息的服务，通过最小努力填补用户的知识空白，提升日常决策与效率。基础模型的高效设备部署进展以及智能可穿戴设备日益广泛的使用，使得全天候 JIR 助手成为可能。然而，此前尚无系统性地正式定义 JIR 任务或建立评估框架的努力。为弥合这一空白，我们提出了 JIR 任务的首个数学定义及相关评估指标。此外，我们引入了 JIR-Arena，一个多模态基准数据集，涵盖多样化的、信息请求密集的场景，用于在关键维度上评估 JIR 系统：i）准确推断用户信息需求，ii）提供及时且相关的推荐，iii）避免可能分散用户注意力的无关内容。开发 JIR 基准数据集面临挑战，原因在于用户信息需求的估计具有主观性以及影响可复现性的不可控系统变量。为解决这些问题，JIR-Arena：i）结合多个人类和大型 AI 模型的输入以近似信息需求分布；ii）通过静态知识库快照的信息检索结果评估 JIR 质量；iii）采用多轮、多实体验证框架以提升客观性和普适性。此外，我们实现了一个能够处理与用户输入对齐的实时信息流的基线 JIR 系统。我们在该基线系统上对 JIR-Arena 的评估表明，尽管基于基础模型的 JIR 系统能够以合理精度模拟用户需求，但它们在召回率和有效内容检索方面面临挑战。为支持这一新领域的未来研究，我们全面发布了我们的代码和数据。