大型语言模型用于口述历史理解：文本分类与情感分析
计算与语言
2025-08-12 v1 人工智能
摘要
口述历史是记录 lived experience 的重要文献，尤其是在受系统性不公正和历史遗忘影响的社群中。有效且高效的分析其口述历史档案可促进对口述历史的理解和获取。然而，由于其非结构化格式、情感复杂性和高标注成本，大规模分析这些档案仍有限。本文提出了一种可扩展框架，用于自动化日裔美国关押口述历史 (JAIOH) 的语义和情感标注。我们利用大型语言模型 (LLMs) 构建高质量数据集，评估多个模型，并在历史敏感情境中测试提示工程策略。我们的多阶段方法结合了专家标注、提示设计和 LLM 评估，使用 ChatGPT、Llama 和 Qwen。我们对 558 句来自 15 位叙述者的句子进行情感和语义分类标注，然后评估了零-shot、few-shot 和 RAG 策略。在语义分类方面，ChatGPT 取得了最高的 F1 分数 (88.71%)，随后是 Llama (84.99%) 和 Qwen (83.72%)。在情感分析方面，Llama略微领先于 Qwen (82.66%) 和 ChatGPT (82.29%)，所有模型表现相当。我们使用最佳提示配置对 JAIOH 集合中 1,002 份访谈的 92,191 句话进行了标注。我们的发现表明，在引导良好设计的提示下，LLM 可以有效地对大规模口述历史集合进行语义和情感标注。本研究提供了可重用的标注管道和针对文化敏感档案分析的实用指导，为人工智能在数字人文和集体记忆保存中的负责任使用奠定了基础。GitHub: https://github.com/kc6699c/LLM4OralHistoryAnalysis。
引用
@article{arxiv.2508.06729,
title = {Large Language Models for Oral History Understanding with Text Classification and Sentiment Analysis},
author = {Komala Subramanyam Cherukuri and Pranav Abishai Moses and Aisa Sakata and Jiangping Chen and Haihua Chen},
journal= {arXiv preprint arXiv:2508.06729},
year = {2025}
}