ARChef：基于iOS的多模态Gemini大语言模型增强现实烹饪助手
人机交互
2024-12-10 v2 人工智能
摘要
烹饪食物往往困难重重，导致许多人依赖烹饪书籍和线上食谱。然而，这些传统方法常导致配料缺失、营养风险及烹饪不尽人意。利用增强现实（AR）可缓解这些问题；但现有AR烹饪应用界面差、可达性差。本文提出一种iOS应用程序原型，将AR与计算机视觉（CV）融入烹饪流程。我们利用Google的Gemini大语言模型（LLM）识别摄像头视野中的食材，并生成带详细营养信息的食谱选择。此外，应用使用Apple的ARKit创建兼容iOS设备的AR用户界面。用户可通过输入饮食偏好来个性化 meal 建议，并对每道菜进行评分。通过三轮用户体验调查评估了该应用程序的效果。该应用推动了可及烹饪辅助技术发展，旨在减少食品浪费并提升餐饮规划体验。
引用
@article{arxiv.2412.00627,
title = {ARChef: An iOS-Based Augmented Reality Cooking Assistant Powered by Multimodal Gemini LLM},
author = {Rithik Vir and Parsa Madinei},
journal= {arXiv preprint arXiv:2412.00627},
year = {2024}
}