人机协作风险标注：使用 CHAIRA 协同标注网络不文明行为
人机交互
2024-09-24 v1
摘要
人机协作标注是处理大规模复杂数据的各种任务的一种有前景的方法。支持有效的人机协作以进行数据标注的工具和方法是一个重要的研究方向。在本文中，我们提出了 CHAIRA：一种协作式人机风险标注工具，使人类和 AI 智能体能够协作标注网络不文明行为。我们利用大语言模型（LLMs）来促进人类和 AI 标注者之间的交互，并考察了四种不同的提示策略。所开发的 CHAIRA 系统将多种提示方法与人机协作相结合，用于网络不文明数据标注。我们基于人类和 AI 编码者之间的评分者一致性，在带有真实标签的 457 条用户评论上对 CHAIRA 进行了评估。我们发现，最具协作性的提示支持了人类智能体和 AI 之间高度的一致性，与两名人类编码者之间的一致性相当。虽然 AI 遗漏了一些人类编码者容易识别的隐式不文明行为，但它也发现了人类编码者忽略的政治上微妙的不文明行为。我们的研究揭示了使用 AI 智能体进行不文明行为标注的益处和挑战，并为主观数据标注中的人机协作提供了设计启示和最佳实践。
引用
@article{arxiv.2409.14223,
title = {Collaborative Human-AI Risk Annotation: Co-Annotating Online Incivility with CHAIRA},
author = {Jinkyung Katie Park and Rahul Dev Ellezhuthil and Pamela Wisniewski and Vivek Singh},
journal= {arXiv preprint arXiv:2409.14223},
year = {2024}
}