面向社会合规机器人导航的 prompt design 探针

语言模型越来越多地用于社交机器人导航，但现有基准大多忽视了针对社会合规行为进行 principled prompt design。这种限制在实际中尤为突出，因为许多系统依赖小型视觉语言模型 (VLMs) 以获得效率。与大型语言模型相比，小型 VLMs 决策能力较弱，有效的 prompt design 对准确导航至关重要。灵感来源于人类学习和动机的认知理论，我们沿两个维度研究 prompt design：系统引导 (行动导向、推理导向和感知-推理 prompt) 和动机框架，其中模型与人类、其他 AI 系统或自身过去的自我竞争。两个社会合规导航数据集上的实验揭示了三个关键发现。首先，对于未 fine-tune 的 GPT-4o，与人类竞争实现最佳性能，而与其他 AI 系统竞争表现最差。对于 fine-tune 的模型，与模型过去的自我竞争 yield 最强结果，其次是与人类竞争，性能进一步受到 prompt design、模型选择和数据集特征之间 coupling effects 的影响。其次，恰当的系统 prompt design 对于准确导航至关重要，甚至比直接 fine-tune 还重要。第三，尽管直接 fine-tune 在语义层面的指标（如感知、预测和推理）上显著提高，但在行动准确性方面的提升有限。相反，我们的系统 prompt 能显著提升行动准确性，表明所提出的 prompt design 主要作为 decision-level constraint 而非 representational enhancement 起作用。