ReStory：基于视觉语言模型的社会性人机交互数据集增强
机器人学
2024-12-31 v1 人机交互
摘要
互联网规模的数据集对于人机交互(HRI)研究人员来说是一种奢侈品，因为在野外收集自然交互数据既耗时又在后勤上具有挑战性。机器人不同的外形因素和交互模式加剧了这一问题。受最近在人机交互领域关于民族方法论和会话分析(EMCA)工作的启发，我们提出了ReStory，一种有潜力利用视觉语言模型增强现有野外人机交互数据集的方法。虽然仍然需要人工监督，但ReStory能够以故事板的形式合成人类可解释的交互场景。我们希望我们提出的方法为人机交互研究人员和交互设计师提供利用其宝贵且稀缺数据的新视角。
引用
@article{arxiv.2412.20826,
title = {ReStory: VLM-augmentation of Social Human-Robot Interaction Datasets},
author = {Fanjun Bu and Wendy Ju},
journal= {arXiv preprint arXiv:2412.20826},
year = {2024}
}
备注
16th International Conference on Social Robotics +AI