使用 ChatGPT 自动编码通信数据：跨子群的一致性
计算与语言
2026-05-19 v3 人工智能
摘要
规模化地评估沟通与协作，取决于将沟通数据编码到根据不同框架划分的类别中的劳动密集型任务。先前的研究已建立，ChatGPT 可以直接使用编码 rubrics 来编码沟通数据，实现与人类评分员相当的准确性。然而，是否具有 ChatGPT 或类似 AI 技术在不同人口统计学群体（如性别和种族）上的编码表现出一致性，尚不明确。为解决这一问题，我们介绍了三个用于评估基于 LLM 的编码在子群中的一致性的检查方法，通过改编现有自动评分文献中的框架来实现。我们使用典型的协作问题解决编码框架和来自三种协作任务的数据，检查 ChatGPT 基于编码的性能在性别和种族/民族群体上的表现。我们的结果表明，ChatGPT 基于的编码在性别或种族/民族群体上的表现方式与人类评分员一致，显示了其在协作和沟通大规模评估中使用的可能性。
引用
@article{arxiv.2510.20584,
title = {Automated Coding of Communication Data Using ChatGPT: Consistency Across Subgroups},
author = {Jiangang Hao and Wenju Cui and Patrick Kyllonen and Emily Kerzabi},
journal= {arXiv preprint arXiv:2510.20584},
year = {2026}
}
备注
Accepted to the Journal of Educational Measurement