探索与控制LLM代理对话中的多样性

控制LLM代理模拟中的多样性对于在结构化任务中保持稳定性，同时在开放式交互中保持可变性至关重要。然而，我们注意到在长期模拟中，话语多样性倾向于逐渐下降。为了探索提示设计在这一现象中的作用，我们对话生成提示进行模块化处理，并发现减少上下文信息会导致更具多样性的输出。基于这一洞见，我们提出了自适应提示修剪（APP）方法，该方法允许用户通过单个参数lambda控制多样性。APP根据注意力得分动态修剪提示片段，并与现有多样性控制方法兼容。我们通过大量实验演示了APP有效调制多样性，并提出一种平衡控制权衡的方法。我们的分析揭示，所有提示组件都对多样性施加约束，其中Memory对多样性影响最大。此外，高注意力内容始终会抑制输出多样性。