一种作为计划以支持对食谱内容与制备过程进行表达性多模态查询的富食谱表示
人工智能
2022-04-01 v1
摘要
食物不仅是人类的基本必需品，也是驱动社会健康与经济福祉的关键因素。因此，烹饪领域是展示决策支持（AI）能力的流行用例，服务于精准健康等益处，工具涵盖信息检索界面到任务导向聊天机器人。此处的 AI 应理解食物领域中的概念（例如食谱、食材），容忍烹饪时遇到的失败（例如黄油焦化），处理基于过敏的替换，并可使用多种数据模态（例如文本与图像）。然而，当今食谱被作为文本文档处理，这使机器难以阅读、推理和处理歧义。这要求更好地表示食谱，以克服当前文本文档中存在的歧义与稀疏性。本文中，我们讨论从自然语言可用食谱构建机器可理解的富食谱表示（R3），以计划的形式呈现。R3 融入了额外知识，如过敏原信息、食材图像、每个原子烹饪步骤的可能失败与提示。为展示 R3 的益处，我们还提出 TREAT，一种食谱检索工具，其利用 R3 对食谱内容（计划对象——食材与烹饪工具）、食物制备过程（计划动作与时间）和媒体类型（图像、文本）执行多模态推理。R3 带来了检索效率的提升以及此前文本表示中不可能实现的新能力。
引用
@article{arxiv.2203.17109,
title = {A Rich Recipe Representation as Plan to Support Expressive Multi Modal Queries on Recipe Content and Preparation Process},
author = {Vishal Pallagani and Priyadharsini Ramamurthy and Vedant Khandelwal and Revathy Venkataramanan and Kausik Lakkaraju and Sathyanarayanan N. Aakur and Biplav Srivastava},
journal= {arXiv preprint arXiv:2203.17109},
year = {2022}
}