探索非视觉烹饪中的对象状态识别——面向食谱进度跟踪

烹饪在日常独立和幸福感中占据重要位置，但由于缺乏对进度跟踪和情境反馈的支持，仍然对视力受损者构成挑战。对象状态——即食材和工具的条件或转化——为提供情境感知烹饪支持提供了具有前景但尚未充分探索的基础。本文提出OSCAR（Object Status Context Awareness for Recipes），一个用于在非视觉烹饪中探索对象状态识别以实现食谱进度跟踪的技术管线。OSCAR集成了食谱解析、对象状态提取、与烹饪步骤的视觉对齐以及时间-因果建模，以支持实时步骤跟踪。我们在173个 instructional 视频和一套真实世界数据集（包含12个由BLV个体在家中记录的非视觉烹饪 session）上进行评估。我们的结果表明，对象状态在视觉-语言模型中持续改进步骤预测准确率，并揭示了在真实世界条件下影响性能的关键因素，例如隐式任务、摄像机位置和照明条件。我们贡献了一个情境感知食谱进度跟踪管线、一个标注好的真实世界非视觉烹饪数据集，以及指导未来情境感知辅助烹饪系统设计的见解。