中文

判例法 grounding:利用先例对齐人类与AI的决策

人机交互 2025-09-26 v4

摘要

从在线社区内容审核到生成社会性恰当的生成式输出,决策任务——无论由人类还是AI执行——通常依赖于主观或社会确立的标准。为确保此类决策的一致性,主流流程主要利用高层规则和指南来 grounding 决策,类似于法律语境中应用“宪法”。然而,宪法式 grounding 在制定和解释上的不一致可能导致不良甚至错误的决策。在本工作中,我们引入“判例法 grounding”(CLG)——一种利用过往决策来 grounding 主观决策的方法,类似于判例法中对先例的使用。我们展示了该 grounding 方法如何在人类和AI决策语境中实现,提出了一种人工主导流程和一种大语言模型(LLM)提示设置。通过在两个决策任务领域对五个群体和社区进行评估,我们发现使用CLG产生的决策在5个群体中的4个里显著更准确地对齐真值,在人类流程中准确率提高16.0–23.3个百分点,在LLMs中提高20.8–32.9个百分点。我们还考察了检索窗口大小和决策约束性质等不同配置的影响,发现约束性决策和更大检索窗口是有益的。最后,我们讨论了在对齐人类与AI决策时,使用CLG增强现有宪法式 grounding 的更广泛意义。

关键词

引用

@article{arxiv.2310.07019,
  title  = {Case Law Grounding: Using Precedents to Align Decision-Making for Humans and AI},
  author = {Quan Ze Chen and Amy X. Zhang},
  journal= {arXiv preprint arXiv:2310.07019},
  year   = {2025}
}

备注

Accepted at ACM Collective Intelligence 2025