ProMQA-Assembly：基于装配的多模态程序式问答数据集
计算与语言
2026-04-08 v2 计算机视觉与模式识别
摘要
装配任务的助理系统展现出巨大的潜力，能够惠及从日常帮助到工业环境交互的广泛人群。然而，装配活动的评估资源尚未得到充分探索。为促进系统开发，我们提出一个新的多模态问答评估数据集，聚焦装配活动。我们的数据集称为ProMQA-Assembly，包含646个问答对，要求对人类活动视频及其说明手册进行在线式的多模态理解。为在数据创建中实现成本效益，我们采用半自动化问答标注方法，即利用大语言模型生成候选问答对，再由人类验证。我们进一步通过整合细粒度动作标签来丰富问题类型。此外，我们创建了81个说明任务图，用于目标装配任务。这些新创建的任务图用于我们的基准实验中，也有助于促进人类验证过程。在我们的数据集上进行基准测试，我们评估了包括多个竞争性专有多模态模型在内的模型。我们发现ProMQA-Assembly包含具有挑战性的多模态问题，其中推理模型展现了有前景的结果。我们相信这个新的评估数据集将推动程序式活动助理的进一步发展。
引用
@article{arxiv.2509.02949,
title = {ProMQA-Assembly: Multimodal Procedural QA Dataset on Assembly},
author = {Kimihiro Hasegawa and Wiradee Imrattanatrai and Masaki Asada and Susan Holm and Yuran Wang and Vincent Zhou and Ken Fukuda and Teruko Mitamura},
journal= {arXiv preprint arXiv:2509.02949},
year = {2026}
}
备注
LREC 2026. Code and data: https://github.com/kimihiroh/promqa-assembly