面向家长-孩子互动的多模态大语言模型：以共同注意为焦点

共同注意是早期语言发展的关键组成部分，是有效家庭-孩子互动的关键指标。然而，关于检测和分析共同注意的研究仍有限，特别是针对多模态大语言模型(MLLMs)。本研究评估了MLLMs理解共同注意的能力，通过分析26段由两位言语-语言病理师注释的家庭-孩子互动视频。这些注释识别出强共同注意和弱共同注意的片段，作为评估模型解释能力的基准。我们的发现表明，当前MLLMs难以准确解释共同注意，由于缺乏对儿童发起的眼神接触的细致理解，这是共同注意动态的关键组成部分。本研究突显了纳入详细眼神接触的重要性，以提高MLLMs的多模态推理能力。解决这些差距对于未来的研究至关重要，以促进MLLMs在分析和支持家庭-孩子互动方面的应用。