印度如何烹制酸奶饭(Biryani)?
计算机视觉与模式识别
2026-01-13 v1
摘要
酸奶饭(Biryani)是印度最著名的菜肴之一,其在烹饪方式、配料和呈现方式上展现出显著的地区多样性。随着在线烹饪视频的日益普及,系统性地研究此类烹饪变异的潜力前所未有。然而,现有的视频理解方法无法捕捉程序烹饪视频中细粒度、多模态和文化背景差异。本工作提出首个大规模、精选的酸奶饭制作视频数据集,包含 120 部高质量 YouTube 记录,覆盖 12 个不同地区风格。我们提出一个多阶段框架,利用最近的视觉语言模型(VLMs)将视频分割为细粒度程序单元,并与音频转录和标准食谱文本对齐。基于这些对齐表示,我们引入一个视频比较管道,自动识别和解释不同地区变体之间的程序差异。我们构建了一个涵盖多种推理水平的问答(QA)基准,用于评估 VLMs 的程序理解能力。我们的方法在不同角色中运用多个 VLMs,融入人类参与的验证以实现高精度任务,并在零-shot 和微调设置下对比多个最新模型。 resulting dataset, comparison methodology, and QA benchmark provide a new testbed for evaluating VLMs on structured, multimodal reasoning tasks and open new directions for computational analysis of cultural heritage through cooking videos. 我们在 https://farzanashaju.github.io/how-does-india-cook-biryani/ 公开所有数据、代码及项目网站。
引用
@article{arxiv.2601.06198,
title = {How Does India Cook Biryani?},
author = {Shubham Goel and Farzana S and C V Rishi and Aditya Arun and C V Jawahar},
journal= {arXiv preprint arXiv:2601.06198},
year = {2026}
}