迈向旁听 LLM 智能体的第一步：以《龙与地下城》游戏为例的研究

直接协助人类用户完成任务的对话式 LLM 智能体已有大量研究。我们提出了一种与 LLM 智能体交互的替代范式，称为“旁听智能体”。这些旁听智能体不主动参与对话，而是“旁听”人与人之间的对话，并执行后台任务或提供建议以协助用户。在本研究中，我们通过《龙与地下城》游戏的视角探索了旁听智能体范式。我们使用大型多模态音频语言模型作为旁听智能体来协助地下城主，进行了深入研究。我们进行了人工评估以检验此类智能体的帮助性，发现一些大型音频语言模型具有利用隐式音频线索执行旁听智能体任务的涌现能力。最后，我们发布了 Python 库和项目代码，以支持对旁听智能体范式的进一步研究：https://github.com/zhudotexe/overhearing_agents。