Agent-as-Peer-Debriefer:一种基于视角驱动的多智能体框架用于定性分析
人工智能
2026-05-26 v1
摘要
大型语言模型(LLMs)越来越多地被用于定性数据分析(QDA),但其输出常常缺乏人类分析的深度和细微差别。我们认为,这一差距反映出人类 QDA 中缺失的可信度实践:同行评议,其中分析师会寻求来自不带利益相关方的同行的反馈,并据此修订编码。为将这一实践引入 LLM 辅助的 QDA,我们提出了 Agent-as-Peer-Debriefer,一种多智能体 QDA 框架,将同行评议嵌入关键编码步骤中。在该框架中,分层编码智能体遵循标准的 QDA 流程生成代码、子主题和主题,同时生成自我解释和反思备忘录。随后,它将这些输出共享给三个同行评议智能体,每个智能体应用不同的分析视角(理论驱动、数据驱动或应用导向),并通过保留、重命名、重新分配、合并或拆分代码来修订这些代码。这些视角来源于跨领域和数据集的 established 人类 QDA 实践。为评估该框架,我们在三个数据集上进行测试(覆盖两个领域),并使用三个 LLM,衡量其对人工标注代码的语义相似性。在所有设置下,基于视角的同行评议修订与人类代码的对齐程度更高于单一 LLM 基线,而消融实验进一步表明,这一提升并非仅源于额外的修订。三个视角也产生不同的权衡,表明选择视角是一种有意义且可控的设计决策。更广泛地说,这些发现表明,用显式视角模拟同行评议是实现更可信 LLM 辅助 QDA 的有前景的途径。
引用
@article{arxiv.2605.24600,
title = {Agent-as-Peer-Debriefer: A Multi-Agent Framework with Perspective-Based Refinement for Qualitative Analysis},
author = {Zhimin Lin and Kun Cheng and Fan Bai and Jie Gao},
journal= {arXiv preprint arXiv:2605.24600},
year = {2026}
}