语言模型 moderator 能否改善在线话语的健康度？

在线社区的对话式审核对于维持建设性环境的文明至关重要，但其难以规模化且对审核者有害。将复杂的自然语言生成模块作为力量倍增器以辅助人类审核者是一个诱人的前景，但迄今为止缺乏充分的评估方法。在本文中，我们基于审核文献建立了对话式审核有效性的系统定义，并确立了进行真实且安全评估的设计准则。随后，我们提出一个综合评估框架，以在人类干预独立的情况下评估模型的审核能力。借助我们的框架，我们开展了首个已知的将语言模型作为对话式审核者的研究，发现适当提示、融入社会科学见解的模型能够对有毒行为提供具体且公平的反馈，但难以影响用户提升其尊重与合作水平。