人机协作提高了技能标注速度但降低了准确率
人机交互
2024-03-05 v1
摘要
AI 方法在博弈相关任务（如国际象棋）中不断取得超越人类的进展。预计下一阶段将是人机协作；然而，关于该主题的研究结果好坏参半，需要更多的数据点。我们通过研究常见的教育行政任务中的人机协作，为这一新兴文献增添了内容。教育在与 AI 的关系上是一个特殊领域，在实践中采用 AI 方法的进程缓慢，这出于对教育企业失去其人文关怀的担忧，并且由于其对人职业和发展轨迹的影响而要求高质量标准。在本研究（N = 22）中，我们设计了一项实验，以探索人机协作对使用美国共同核心分类法用技能对教育内容进行标注的任务的影响。我们的结果表明，与对照组（无 AI 参与）相比，实验组（有 AI 推荐）在执行标注任务时节省了约 50% 的时间（p < 0.01），但牺牲了 7.7% 的召回率（p = 0.267）和 35% 的准确率（p= 0.1170），这使得 AI+人类组的表现介于纯 AI 组（表现最差）和纯人类组（表现最好）之间。我们进一步分析了该 AI 协作实验的日志数据，以探索在接收推荐时人类在何种情况下仍会行使其判断力。最后，我们概述了本研究如何协助在教育中实施 AI 工具（如 ChatGPT）。
引用
@article{arxiv.2403.02259,
title = {Human-AI Collaboration Increases Skill Tagging Speed but Degrades Accuracy},
author = {Cheng Ren and Zachary Pardos and Zhi Li},
journal= {arXiv preprint arXiv:2403.02259},
year = {2024}
}