InfoTech Assistant：面向 InfoTechnology 网站查询的多模态对话智能体
计算与语言
2025-07-10 v2
摘要
本 pilot 研究展示了 InfoTech Assistant 的开发，该系统是面向桥梁评估和基础设施技术查询的 domain-specific 多模态聊天机器人。通过集成 web 数据抓取、大语言模型 (LLM) 和检索增强生成 (RAG)，InfoTech Assistant 提供准确且上下文相关的响应。数据包括文本描述和图像，来源于 InfoTechnology 网站上公开的文档，组织为 JSON 格式以便高效查询。系统架构包括 HTML 界面和 Flask 后端，通过 LLM Studio 连接 Llama 3.1 模型。评估结果显示，该系统在 domain-specific 任务上的准确率约为 95%，高相似度得分确认了响应质量。该 RAG-enhanced setup 使 InfoTech Assistant 能够处理复杂的多模态查询，提供文本和视觉信息。InfoTech Assistant 在 domain-specific 输出中表现出强大的潜力，作为一个可依赖的工具为基础设施专业人员提供高准确率和相关性。
引用
@article{arxiv.2412.16412,
title = {InfoTech Assistant: A Multimodal Conversational Agent for InfoTechnology Web Portal Queries},
author = {Sai Surya Gadiraju and Duoduo Liao and Akhila Kudupudi and Santosh Kasula and Charitha Chalasani},
journal= {arXiv preprint arXiv:2412.16412},
year = {2025}
}
备注
Accepted by IEEE Big Data 2024