EcoSage 助手：构建多模态植物养护对话助手
计算与语言
2024-01-17 v1 人工智能
摘要
近年来，人们对迫在眉睫的环境挑战的认识日益增强，从而表现出对关爱环境和培育绿色生命更强的投入。当前价值 196 亿美元的室内园艺产业反映了这种日益增长的情绪，它不仅代表了一种货币价值，也诉说着人类与自然世界重新建立联系的深刻渴望。然而，最近的几项调查揭示了我们所养护植物的命运，超过一半的植物死亡主要是由于不当养护这一无声威胁。因此，对能够协助和指导个人处理复杂植物养护问题的可及专业知识的需要变得比以往任何时候都更为重要。在这项工作中，我们首次尝试构建一个植物养护助手，旨在通过对话帮助人们解决植物（种植）方面的疑虑。我们提出了一个名为 Plantational 的植物养护对话数据集，其中包含约 1,000 段用户与植物养护专家之间的对话。我们提出的端到端方法是双重的：(i) 我们首先借助各种大语言模型（LLMs）和视觉语言模型（VLM），通过研究指令调优（零样本和少样本提示）和微调技术对该任务的影响，在该数据集上建立基准；(ii) 最后，我们构建了 EcoSage，一个多模态植物养护辅助对话生成框架，该框架通过门控机制融入了基于适配器的模态注入。我们对各种 LLMs 和 VLM 在生成特定领域对话回复方面表现出的性能进行了广泛检查（自动和人工评估），以突显这些不同模型各自的优势与劣势。
引用
@article{arxiv.2401.06807,
title = {An EcoSage Assistant: Towards Building A Multimodal Plant Care Dialogue Assistant},
author = {Mohit Tomar and Abhisek Tiwari and Tulika Saha and Prince Jha and Sriparna Saha},
journal= {arXiv preprint arXiv:2401.06807},
year = {2024}
}