AssistQ：以功能可供性为中心、由问题驱动的自我中心助手任务完成
计算机视觉与模式识别
2022-07-21 v5
摘要
诸如 AR 眼镜/机器人等智能助手的一个长期目标是，在以功能可供性为中心的真实场景中对用户提供帮助，例如“我怎样能让微波炉运行 1 分钟？”。然而，目前仍缺乏清晰的任务定义和合适的基准。本文定义了一项称为“以功能可供性为中心、由问题驱动的任务完成”（Affordance-centric Question-driven Task Completion, AQTC）的新任务，其中 AI 助手应从教学视频中学习，在用户视角下提供逐步帮助。为支持该任务，我们构建了 AssistQ——一个由 100 段新拍摄的教学视频生成的、包含 531 个问答样本的新数据集。我们还提出了一种新颖的 Question-to-Actions（Q2A）模型来解决 AQTC 任务，并在 AssistQ 数据集上进行了验证。结果表明，我们的模型显著优于多个与 VQA 相关的基线，但仍有很大改进空间。我们期望该任务和数据集能推动自我中心 AI 助手的发展。项目页面见：https://showlab.github.io/assistq/。
引用
@article{arxiv.2203.04203,
title = {AssistQ: Affordance-centric Question-driven Task Completion for Egocentric Assistant},
author = {Benita Wong and Joya Chen and You Wu and Stan Weixian Lei and Dongxing Mao and Difei Gao and Mike Zheng Shou},
journal= {arXiv preprint arXiv:2203.04203},
year = {2022}
}
备注
Accepted by ECCV 2022. Equal contribution: Benita Wong, Joya Chen, You Wu; Corresponding author: Mike Zheng Shou