PILOT：通过心理与语言输出定向引导合成数据生成
计算与语言
2025-09-22 v1 人工智能
摘要
生成式 AI 应用通常利用用户人设作为合成数据生成的引导机制，但对自然语言表示的依赖迫使模型对哪些属性进行强调做出意外推断，从而限制了对输出的精确控制。我们引入了 PILOT（心理与语言输出定向），一个通过结构化心理语言学画像引导大语言模型的两阶段框架。在第一阶段，PILOT 将自然语言人设描述转换为在语言和心理维度上具有标准化分数的多维画像。在第二阶段，这些画像沿着可测量的变化轴引导生成。我们在三个最先进的大语言模型（Mistral Large 2、Deepseek-R1、LLaMA 3.3 70B）上评估了 PILOT，使用了 25 个合成人设，在三种条件下：自然语言人设引导 (NPS)、基于模式的引导 (SBS) 和混合人设-模式引导 (HPS)。结果表明，基于模式的方法显著减少了人工感的人设重复，同时提高了输出连贯性，轮廓系数从 0.098 提高到 0.237，主题纯度从 0.773 提高到 0.957。我们的分析揭示了一个基本权衡：SBS 产生更简洁的输出且主题一致性更高，而 NPS 提供更大的词汇多样性但可预测性降低。HPS 在这两个极端之间取得了平衡，在保持输出多样性的同时保留了结构一致性。专家语言评估证实 PILOT 在所有条件下均保持了高响应质量，各引导方法之间没有统计显著差异。
引用
@article{arxiv.2509.15447,
title = {PILOT: Steering Synthetic Data Generation with Psychological & Linguistic Output Targeting},
author = {Caitlin Cisar and Emily Sheffield and Joshua Drake and Alden Harrell and Subramanian Chidambaram and Nikita Nangia and Vinayak Arannil and Alex Williams},
journal= {arXiv preprint arXiv:2509.15447},
year = {2025}
}