NICO-RAG：理解尼古丁公共卫生危机的多模态超图检索增强生成
计算机视觉与模式识别
2026-03-03 v1
摘要
尼古丁成瘾公共卫生危机持续存在。本世纪仅，烟草产业就推出并营销了大量新产品，旨在诱导新客户及年轻客户终身戒烟。此类创新与产品开发，即含糖尼古丁或烟草制品，如尼古丁盾，已挫败了多年反烟宣传的工作成果。过去的研究在范围和连接大规模数据点方面都有限。因此，我们引入尼古丁创新反击 (NICO) 数据集，为公共卫生研究者提供超过 20 万个多模态样本，包括图像和文本描述，涵盖 55 个烟草和尼古丁产品品牌。此外，为帮助公共卫生研究者在大规模数据集中建立事实联系，我们提出 NICO-RAG，一种检索增强生成 (RAG) 框架，能够在不产生高昂语言模型成本的同时检索图像特征，同时避免了处理大规模数据集（如 NICO）中图像标记的额外成本。在构建阶段，NICO-RAG 将图像和文本提取的实体与关系组织成超图，以生成尽可能准确的响应。这种联合多模态知识表示使 NICO-RAG 能够通过视觉相似性和图像描述语义相似性进行图像检索，以支持查询答复。实验表明，在无需为超过 100 个问题处理图像附加标记的情况下，NICO-RAG 的性能与针对图像优化的领先 RAG 方法相当。
引用
@article{arxiv.2603.02047,
title = {NICO-RAG: Multimodal Hypergraph Retrieval-Augmented Generation for Understanding the Nicotine Public Health Crisis},
author = {Manuel Serna-Aguilera and Raegan Anderes and Page Dobbs and Khoa Luu},
journal= {arXiv preprint arXiv:2603.02047},
year = {2026}
}