Austen Character Similarity Benchmark: 用于评估作家角色计算表示的基准
计算与语言
2024-08-30 v1
摘要
已开发出Several系统用于从作家提取关于角色的信息以辅助对英语文学的计算分析。我们提出角色相似性分组作为这些管道的整体评估任务。我们呈现 AustenAlike，一套针对简·奥斯汀小说中角色相似性的基准套件。我们的基准基于三种角色相似性概念：结构化定义的相似性；社会化定义的相似性；以及从文学批评中提取的专家定义的一组。我们使用 AustenAlike 来评估使用 BookNLP 和 FanfictionNLP 提取的角色特征。我们从四种类型的特征构建角色表示，并将其与三个 AustenAlike 基准以及 GPT-4 相似性排名进行比较。我们发现虽然计算表示捕获了基于共享社交和叙事角色的一些宽泛相似性，但我们第三基准中的专家配对对所有系统都具有挑战性，凸显了人类读者所注意到的细微相似性方面。
引用
@article{arxiv.2408.16131,
title = {Evaluating Computational Representations of Character: An Austen Character Similarity Benchmark},
author = {Funing Yang and Carolyn Jane Anderson},
journal= {arXiv preprint arXiv:2408.16131},
year = {2024}
}