烹饪相关图像中物体状态的识别

对于机器人任务规划与操作而言,理解物体状态与物体识别同等重要。据我们所知,本文首次明确引入并解决了烹饪相关图像中的状态识别问题。本文探究了烹饪视频中的物体与食材,并分析了出现频率最高的物体。考察了来自最常见烹饪物体的十一种状态,并创建了一个包含这些物体及其状态的图像数据集。作为状态识别问题的一种解决方案,提出了一种基于ResNet的深度模型。该模型以ImageNet权重初始化,并在十一类数据集上训练。训练好的状态识别模型在ImageNet数据集的一个子集上进行了评估,并利用该模型与人工核查相结合提供了状态标签。此外,使用初始训练模型的权重及物体特定图像,为数据集中每个物体微调了单独的模型,其改进效果显著。