CaptainCook4D：用于理解程序性活动中错误的数据集
计算机视觉与模式识别
2024-12-10 v4
摘要
遵循逐步程序是个人日常生活中各种活动的重要组成部分。这些程序作为指导框架，有助于高效实现目标，无论是组装家具还是准备食谱。然而，程序性活动的复杂性和持续时间固有地增加了出错的可能性。从帧序列中理解此类程序性活动是一项具有挑战性的任务，需要准确解释视觉信息并具备推理活动结构的能力。为此，我们收集了一个新的自我中心4D数据集CaptainCook4D，包含384个记录（94.5小时），记录了人们在真实厨房环境中执行食谱的过程。该数据集包含两种不同类型的活动：一种参与者遵循提供的食谱说明，另一种参与者偏离并引入错误。我们提供了5.3K个步骤标注和10K个细粒度动作标注，并对数据集进行了以下任务的基准测试：监督错误识别、多步定位和过程学习。
引用
@article{arxiv.2312.14556,
title = {CaptainCook4D: A Dataset for Understanding Errors in Procedural Activities},
author = {Rohith Peddi and Shivvrat Arya and Bharath Challa and Likhitha Pallapothula and Akshay Vyas and Bhavya Gouripeddi and Jikai Wang and Qifan Zhang and Vasundhara Komaragiri and Eric Ragan and Nicholas Ruozzi and Yu Xiang and Vibhav Gogate},
journal= {arXiv preprint arXiv:2312.14556},
year = {2024}
}
备注
Accepted to the 2024 Neural Information Processing Systems Datasets and Benchmarks Track, Project Page: https://rohithpeddi.github.io/#/captaincook