DramaBench：戏剧剧本续写的六维评估框架
计算与语言
2025-12-24 v2
摘要
戏剧剧本续写需要模型在保持人物一致性、推进情节连贯性和保持戏剧结构方面具有能力，这些能力现有基准未能全面评估。我们提出 DramaBench，是第一个面向戏剧剧本续写进行全面评估的大规模基准，涵盖六个独立维度：格式标准、叙事效率、人物一致性、情感深度、逻辑一致性和冲突处理。我们的框架结合基于规则的分析、LLM 标记和统计指标，确保客观且可重复的评估。我们对 8 个最先进的语言模型在 1,103 部剧本上进行了全面评估（总计 8,824 次评估），进行严格的统计显著性测试（252 项成对比较，65.9% 显著）和人类验证（188 部剧本，在 3/5 个维度上实现显著一致性）。我们的消除实验确认所有六个维度都捕捉到独立的质量方面（平均 | r | = 0.020）。DramaBench 为模型改进提供可操作的、特定于维度的反馈，确立了创意写作评估的严格标准。
引用
@article{arxiv.2512.19012,
title = {DramaBench: A Six-Dimensional Evaluation Framework for Drama Script Continuation},
author = {Shijian Ma and Yunqi Huang and Yan Lin},
journal= {arXiv preprint arXiv:2512.19012},
year = {2025}
}
备注
Project page: https://dramabench.pages.dev/