用于通信研究中可靠自动化编码的分层错误框架：在健康与政治传播中的应用
计算与语言
2025-10-27 v2 人工智能
摘要
自动化内容分析日益支持传播学研究，然而将人工编码扩展为计算流水线引发了对测量信度和效度的担忧。我们引入了分层误差校正 (HEC) 框架，该框架将模型失败视为分层测量误差（知识差距、推理限制和复杂性约束），并针对对推断影响最大的层进行处理。该框架实施了三阶段方法论：跨分层进行系统性误差分析、与主要误差源相匹配的针对性干预设计，以及带有统计测试的严格验证。我们在健康传播（医学专业分类）和政治传播（偏见检测）以及法律任务中评估了 HEC，并使用五个不同的大型语言模型验证了该方法。结果显示，平均准确率提升了 11.2 个百分点（p < .001，McNemar 检验），并通过减少系统性误分类得出了稳定的结论。跨模型验证表明了一致的改进（范围：+6.8 至 +14.6 个百分点），其有效性集中在基线为中高（50-85% 准确率）的任务中。边界研究显示，在极高基线（>85%）或精度匹配任务中收益递减，确立了适用性限制。我们将分层误差映射到对建构效度和效标效度的威胁，并提供了一个透明的、测量优先的蓝图，用于诊断误差分布、选择针对性干预措施，并在报告准确性的同时报告信度/效度证据。这适用于传播研究和更广泛社会科学中的自动化编码。
引用
@article{arxiv.2509.24841,
title = {A Hierarchical Error Framework for Reliable Automated Coding in Communication Research: Applications to Health and Political Communication},
author = {Zhilong Zhao and Yindi Liu},
journal= {arXiv preprint arXiv:2509.24841},
year = {2025}
}
备注
Version 2: Enhanced clarification of precision-matching task characteristics and framework applicability conditions. 20 pages, 4 figures, 4 tables. Replication package available at https://doi.org/10.7910/DVN/NDXVLZ