谁在说？有效的零样本聚焦标注
计算与语言
2025-10-29 v3 机器学习
摘要
聚焦描述了根据叙述者所掌握的知识来限制或控制叙事信息获取的方式。它通过广泛的词汇-语法特征编码，并受读者解读的影响。即使是训练有素的标注者也经常在正确标签上存在分歧，这表明该任务在定性和计算上都具有挑战性。在这项工作中，我们测试了五个当代大型语言模型 (LLM) 家族和两个基线在标注短篇文学摘录的聚焦方面的表现。尽管任务具有挑战性，我们发现 LLM 表现出与训练有素的人类标注者相当的性能，GPT-4o 的平均 F1 值达到 84.79%。此外，我们证明 GPT 家族模型输出的对数概率经常反映标注特定摘录的难度。最后，我们提供了一个分析十六部斯蒂芬·金小说的案例研究，展示了该方法在计算文学研究中的实用性以及从大规模审视聚焦中获得的见解。
引用
@article{arxiv.2409.11390,
title = {Says Who? Effective Zero-Shot Annotation of Focalization},
author = {Rebecca M. M. Hicke and Yuri Bizzoni and Pascale Feldkamp and Ross Deans Kristensen-McLachlan},
journal= {arXiv preprint arXiv:2409.11390},
year = {2025}
}
备注
Accepted at CHR 2025