探究语言模型的手势理解能力以增强人机交互
计算与语言
2024-02-01 v1
摘要
大型语言模型（LLMs）的兴起已影响到超越单纯文本生成的各个学科。超越其文本本质，本项目提案旨在探究LLMs与非语言交流之间的交互，特别关注手势。该提案制定了一项计划，以检验LLMs解读文本提示中显性和隐性非语言线索的能力，以及它们将这些手势与各种语境因素关联起来的能力。该研究提议测试既定的心理语言学研究设计，以构建一个综合数据集，将文本提示与详细的手势描述配对，涵盖多样的区域变体和语义标签。为评估LLMs对手势的理解，计划进行实验，评估它们模拟人类行为以复现心理语言学实验的能力。这些实验考虑了文化维度，并衡量LLM识别的手势与数据集之间的一致性，从而揭示模型对非语言线索（例如手势）的语境化解释。
引用
@article{arxiv.2401.17858,
title = {Probing Language Models' Gesture Understanding for Enhanced Human-AI Interaction},
author = {Philipp Wicke},
journal= {arXiv preprint arXiv:2401.17858},
year = {2024}
}
备注
Preprint