SnappyMeal：多模态AI食物记录应用的设计与纵向评估

食物记录（无论是自主记录还是处方记录）在揭示饮食、医疗、健身和健康状况之间的相关性方面发挥着关键作用。通过与营养专家和进行饮食追踪的个人进行交流，我们发现当前的记录方法（如手写日记和基于应用程序的记录）不够灵活，导致依从性低且营养摘要可能不准确。这些发现得到了先前文献的印证，强调了改进食物记录方法的迫切需求。作为回应，我们提出了SnappyMeal，一个由AI驱动的饮食追踪系统，该系统利用多模态输入使用户能够更灵活地记录其食物摄入。SnappyMeal引入了依赖于目标的后续问题，以智能地向用户寻求缺失的背景信息，并从用户的杂货收据和营养数据库中进行信息检索以提高准确性。我们通过公开可用的营养基准测试以及在自然环境中进行的为期3周的多用户部署（捕获了超过500个记录的食物实例）来评估SnappyMeal。用户对多种可用的输入方法给予了高度评价，并报告了很强的感知准确性。这些见解表明，可以利用多模态AI系统显著提高饮食追踪的灵活性和情境感知能力，为新一类智能自我追踪应用奠定了基础。