RoDE：用于食物大型多模态模型的线性整流多样化专家混合
计算机视觉与模式识别
2024-12-17 v3 人工智能
摘要
大型多模态模型（LMMs）已显著推进了各种视觉语言任务的进展。模型可扩展性和高质量训练数据的可用性在 LMMs 成功中起到关键作用。在食物领域，虽然综合性食物数据集如 Recipe1M 提供了丰富的食材和食谱信息，但往往不足以提供营养分析的充足数据。尽管 Recipe1M+ 数据集虽提供了用于营养评估的子集，但在规模和营养信息的准确性方面有限。为弥合这一差距，我们引入了 Uni-Food，一个统一的食物数据集，包含超过 100,000 张图像，涵盖各种食物标签，包括类别、食材、食谱以及食材级别的营养信息。Uni-Food 旨在提供更全面的食物数据分析方法，从而提升该领域 LMMs 的性能和能力。在微调 LMMs 期间，由于多任务监督导致的冲突，我们引入一种新颖的线性整Rectification Mixture of Diverse Experts（RoDE）方法。RoDE 利用多样化的专家阵列以应对不同复杂度的任务，从而促进可训练参数的协调，即为更复杂的任务分配更多参数，反之则为更简单的任务分配更少参数。RoDE 实现线性整流联合以细化路由器的功能，从而提高稀疏任务分配的效率。这些设计选择使 RoDE 具备确保 GPU 内存效率和易于优化的特征。我们的实验结果验证了我们提出的方法在解决食物相关多任务挑战方面的有效性。
引用
@article{arxiv.2407.12730,
title = {RoDE: Linear Rectified Mixture of Diverse Experts for Food Large Multi-Modal Models},
author = {Pengkun Jiao and Xinlan Wu and Bin Zhu and Jingjing Chen and Chong-Wah Ngo and Yugang Jiang},
journal= {arXiv preprint arXiv:2407.12730},
year = {2024}
}