双LoRA与质量增强伪重放用于多模态持续食物学习
机器学习
2025-11-18 v1 人工智能
摘要
食物分析正在变得越来越重要，用于健康相关任务，如个性化营养和慢性病预防。然而，现有的大型多模态模型（LMM）在食物分析中在学习新任务时会遭受灾难性遗忘，需昂贵地从头重新训练。为解决此问题，我们提出了一个用于多模态食物学习的新型持续学习框架，集成了Dual-LoRA架构与质量增强伪重放。我们为每个任务引入两个互补的低秩适配器：一个学习任务特定知识的专用LoRA，通过正交约束限制在先前任务子空间中，另一个通过伪重放整合跨任务共享知识的协作LoRA。为提高重放数据的可靠性，我们的质量增强伪重放策略利用自洽性和语义相似性以减少生成样本中的幻觉。在全面的Uni-Food数据集上进行的实验表明，所提出的方法在减轻遗忘方面表现出色，代表了复杂食物任务中首个有效的持续学习方法。
引用
@article{arxiv.2511.13351,
title = {Dual-LoRA and Quality-Enhanced Pseudo Replay for Multimodal Continual Food Learning},
author = {Xinlan Wu and Bin Zhu and Feng Han and Pengkun Jiao and Jingjing Chen},
journal= {arXiv preprint arXiv:2511.13351},
year = {2025}
}