PICon：用于评估人格代理一致性的多轮询问框架
计算与语言
2026-05-20 v4
摘要
基于大型语言模型（LLM）的人格代理正迅速被作为人类参与者的可扩展代理应用于各个领域。然而，目前尚无系统性的方法来验证人格代理的响应在整个交互过程中是否始终免于矛盾和事实不准确。询问方法论中的一个原则提供了一个视角：无论虚构身份多么复杂，系统化的询问都将暴露其矛盾。我们应用这一原则提出了PICon，一个通过逻辑链式多轮询问来探测人格代理的评估框架。PICon沿三个核心维度评估一致性：内部一致性（免于自我矛盾）、外部一致性（与现实世界事实的一致性）和重测一致性（重复下的稳定性）。我们评估了七组人格代理以及63名真实人类参与者，发现即使此前被报告为高度一致的系统，在所有三个维度上也未能达到人类基线水平，在链式询问暴露出矛盾和回避性响应。这项工作为人格代理的评估提供了概念基础和实用方法论，使其在被信任为人类参与者的替代品之前得到评估。我们提供源代码和交互式演示，地址为：https://kaist-edlab.github.io/picon/
引用
@article{arxiv.2603.25620,
title = {PICon: A Multi-Turn Interrogation Framework for Evaluating Persona Agent Consistency},
author = {Minseo Kim and Sujeong Im and Junseong Choi and Junhee Lee and Chaeeun Shim and Hwajung Hong and Edward Choi},
journal= {arXiv preprint arXiv:2603.25620},
year = {2026}
}
备注
20 pages, 6 figures