IRC-Bench：基于情境线索识别第一人称回忆中的实体
计算与语言
2026-05-08 v1 人工智能
摘要
当人们叙述个人记忆时，常常通过依赖于情境线索而非显式名称来指代人物、地点和事件。此类隐式指涉是回忆叙事的核心内容：用于治疗、档案和社交场景中的第一人称经验叙述。它们构成一个具有挑战性的计算问题，因为必须从分散的叙事证据（而非局部提及）推断出预期实体。我们引入IRC-Bench，即隐式回忆情境基准测试（Implicit Reminiscence Context Benchmark），用于评估回忆叙述文本中的隐式实体识别。该基准测试针对非局部性进行设计：实体识别线索分布在多个非连续的从句中，而类似命名实体识别、实体链接或指代解析。IRC-Bench包含25,136个样本，基于12,337个与Wiki数据关联的实体构建，覆盖1,994篇叙述文本，涵盖11个主题领域。每个样本配对一个实体 grounding 的叙事（其中目标实体被显式提及）和一个被消除实体的叙事（其中直接提及被移除）。我们评估了19种配置，涵盖LLM生成、稠密检索、RAG和微调。QLoRA微调的Llama 3.1 8B在开放世界场景中表现最佳（38.94%精确匹配；51.59% Jaccard），而微调的DPR在封闭世界检索中领先（35.38% Hit@1；71.49% Hit@10）。我们发布IRC-Bench，包含数据、代码和评估工具。
引用
@article{arxiv.2605.06142,
title = {IRC-Bench: Recognizing Entities from Contextual Cues in First-Person Reminiscences},
author = {Yehudit Aperstein and Eden Moran and Alexander Apartsin},
journal= {arXiv preprint arXiv:2605.06142},
year = {2026}
}
备注
29 pages, 8 figures