Purrfessor：基于微调多模态LLaVA饮食健康聊天机器人

本研究介绍了Purrfessor，一款 innovative AI聊天机器人，通过交互式多模态方式提供个性化饮食指导。该方法利用经过饮食和营养数据微调的大型语言与视觉助手(LLaVA)模型，并采用人类在环(human-in-the-loop)方法，使Purrfessor将视觉餐食分析与情境建议相结合，以提升用户体验和参与度。我们进行了两项研究来评估聊天机器人的性能和用户体验：(a) 对精炼模型进行仿真评估和人类验证以检验其性能；(b) profile为Bot与Pet、模型为GPT-4、LLaVA与微调LLaVA的2(Profile)×3(Model)实验显示，Purrfessor在用户对其关怀感($\beta = 1.59$, $p = 0.04$)和兴趣($\beta = 2.26$, $p = 0.01$)方面显著优于GPT-4聊天机器人。此外，用户访谈强调了交互设计细节的重要性，突显了响应性、个性化和指导在提升用户参与度方面的必要性。