增强动作与成分建模：面向语义导向的食谱生成
计算与语言
2026-02-19 v1 人工智能
摘要
最近的多模态大型语言模型（MLMM）进展使食谱生成从食品图像方面取得了进展，但输出常常包含语义不正确的动作或成分，尽管高于词汇得分（如 BLEU、ROUGE）。为此，我们提出了一个语义导向框架，预测并验证动作与成分作为指令生成的内部上下文。我们的两阶段管道结合监督微调（SFT）与强化微调（RFT）：SFT 使用动作-推理数据集和成分语料库构建基础准确性，而 RFT 采用频率感知奖励以提升长尾动作预测和成分泛化。此外，语义置信度评分与纠正（SCSR）模块进一步过滤和纠正预测。实验在 Recipe1M 上显示，达成最新性能并显著提升语义忠实度。
引用
@article{arxiv.2602.15862,
title = {Enhancing Action and Ingredient Modeling for Semantically Grounded Recipe Generation},
author = {Guoshan Liu and Bin Zhu and Yian Li and Jingjing Chen and Chong-Wah Ngo and Yu-Gang Jiang},
journal= {arXiv preprint arXiv:2602.15862},
year = {2026}
}