手势引发的语用框架：基于 FrameNet Brasil 方法的话轮组织多模态研究

本文基于对语用框架如何被交际者概念化和引发的分析，提出通过建立语言与互动手势之间的关联来构建多模态会话话轮组织框架的方案。为了为该分析提供证据，我们开发了一种标注方法，用建模会话话轮组织的语用框架来丰富多模态数据集（已标注语义框架）。尽管会话话轮组织已被不同领域的研究者研究，但特定策略，尤其是交际者使用的手势，尚未被编码到可用于机器学习的数据集中。为了填补这一空白，我们用用于话轮组织的手势标注丰富了 Frame2 数据集。Frame2 数据集包含巴西电视剧《Pedro Pelo Mundo》的 10 集内容，标注了视频和文本中引发的语义框架。该数据集使我们能够密切观察交际者如何在实验室外使用互动手势，据我们所知，这在相关文献中尚未被记录过。我们的结果证实，参与面对面交谈的交际者将手势作为交出、获取和保持会话话轮的工具，并揭示了一些以前未曾记录的手势变体。我们提出，这些手势的使用源于语用框架的概念化，涉及心理空间、整合和概念隐喻。此外，我们的数据表明，语用框架的标注有助于深入理解人类认知和语言。