面向饮食管理的营养估计：一种结合深度感知的 Transformer 方法

营养估计对于有效的饮食管理以及整体健康和福祉至关重要。现有方法往往难以达到最优精度且可能耗时较长。在本文中，我们提出了 NuNet，一种基于 Transformer 的网络，旨在利用食物图像中的 RGB 和深度信息进行营养估计。我们设计并实现了一个多尺度编码器和解码器，以及两种类型的特征融合模块，专门用于估计五种营养因子。这些模块通过灵活使用我们定制的注意力机制和融合策略，有效地平衡了特征提取的效率与效果。我们的实验研究表明，NuNet 在营养估计方面显著优于其变体和现有解决方案。它实现了 15.65% 的误差率，据我们所知这是最低的，这在很大程度上归功于我们的多尺度架构和融合模块。这项研究对饮食管理具有实用价值，在跨国研究和部署方面具有巨大潜力，并可能启发其他涉及具有不同重要程度的多数据类型的应用。