面向社交互动代理的信任校准：利用大语言模型研究性别化多模态行为生成
计算与语言
2026-05-20 v1
摘要
随着社交互动代理（SIA）日益融入日常生活，将用户信任校准至代理实际能力的能力将有助于确保这些代理的恰当使用。在本文中，我们探讨了大语言模型（LLM）生成多模态行为（言语、声音、手势和面部表情模态）的能力，这些行为反映了可信度的两个关键维度——能力和善意——的不同水平。我们提出了一种新颖的方法，用于自动生成与这些特质的特定水平相一致的行为，这是实现细致入微且信任校准的交互的第一步。通过分析由LLM生成的大型多模态转录数据集，我们证明GPT-5.4能够生成跨不同模态（文本、语调、面部表情和手势）的连贯行为。利用随机森林特征重要性分析，我们表明生成的行为符合关于能力和善意的理论预期。然而，我们也发现，当在提示中指定性别时，LLM倾向于再现社会性别刻板印象，将男性代理的行为与高能力相关联，将女性代理的行为与高善意相关联。为验证我们的方法，我们在Prolific平台上采用被试内设计进行了一项用户研究。参与者感知到生成行为中不同水平的能力和善意与预期指令相符。
引用
@article{arxiv.2605.19798,
title = {Towards Trust Calibration in Socially Interactive Agents: Investigating Gendered Multimodal Behaviors Generation with LLMs},
author = {Lucie Galland and Chloé Clavel and Magalie Ochs},
journal= {arXiv preprint arXiv:2605.19798},
year = {2026}
}