面向真实世界食物图像分类的在线类别增量学习

在基于图像的膳食评估方法中，食物图像分类对于监测健康和追踪饮食至关重要。然而，传统系统通常依赖于具有固定类别和均匀分布的静态数据集。相比之下，受文化、经济和个人因素影响的真实世界食物消费模式涉及动态且不断演变的数据。因此，这要求分类系统能够应对持续演变的数据。在线类别增量学习（OCIL）解决了从单遍数据流中持续学习，同时适应新知识并减少灾难性遗忘的挑战。基于经验回放（ER）的OCIL方法存储一小部分先前数据，并已显示出令人鼓舞的性能。然而，大多数现有的OCIL工作假设遇到的数据分布是完全平衡的，这在真实世界场景中很少发生。在这项工作中，我们通过首先引入一个概率框架来模拟真实的食物消费场景，从而探索用于真实世界食物图像分类的OCIL。随后，我们提出了一个可附加的动态模型更新（DMU）模块，该模块专为现有的ER方法设计，能够选择相关图像进行模型训练，从而解决在OCIL框架内，真实食物消费模式中固有的数据重复和样本出现不平衡所带来的挑战。我们的性能评估表明，与已有的ER方法相比，性能有显著提升，展示了在真实世界食物图像分类场景中进行终身学习的巨大潜力。我们方法的代码可在 https://gitlab.com/viper-purdue/OCIL-real-world-food-image-classification 公开获取。