CHATTER:面向叙事理解的角色属性标注数据集
计算与语言
2025-04-22 v2
摘要
计算叙事理解研究叙事元素的识别、描述和交互:角色、属性、事件和关系。叙事研究对角色类型的定义和分类给予了相当多的关注。然而,这些角色类型分类法泛化能力不佳,因为它们规模小、过于简单或特定于某个领域。我们需要鲁棒且可靠的基准来测试叙事模型是否真正理解了故事中角色发展的细微差别。我们的工作通过整理 CHATTER 数据集来解决这一问题,该数据集对 88124 个角色-属性对进行了标注是否某个角色展现了某种属性,涵盖 2998 个角色、12967 个属性和 660 部电影。我们使用人工标注验证了 CHATTER 的一个子集 CHATTEREVAL,作为评估电影剧本中角色属性标注任务的基准。\evaldataset{} 还评估了叙事理解和语言模型的长上下文建模能力。
引用
@article{arxiv.2411.05227,
title = {CHATTER: A Character Attribution Dataset for Narrative Understanding},
author = {Sabyasachee Baruah and Shrikanth Narayanan},
journal= {arXiv preprint arXiv:2411.05227},
year = {2025}
}
备注
accepted to 7th Workshop on Narrative Understanding