从查询到解释：面向STEM的统一检索增强学习框架Uni-RAG
人工智能
2025-07-08 v1 计算工程、金融与科学
计算机与社会
多媒体
摘要
在AI辅助教学中，利用多样化的查询方式来解释抽象的教育内容对于提供有效且可及的学习体验至关重要。然而，现有的检索系统主要关注自然文本-图像匹配，缺乏应对现实教育场景中查询多样性和模糊性的能力。为此，我们开发了一个轻量且高效的多模态检索模块，命名为Uni-Retrieval，它提取查询风格原型并动态地将其与不断更新的Prompt Bank中的token进行匹配。该Prompt Bank通过利用Mixture-of-Expert Low-Rank Adaptation（MoE-LoRA）模块编码和存储领域特定知识，并可适应以增强Uni-Retrieval在测试时容纳未见查询类型的能力。为实现自然语言教育内容的生成，我们将原始Uni-Retrieval与一个紧凑的指令调优语言模型集成，形成一个完整的检索增强生成管道，命名为Uni-RAG。给定一个风格条件查询，Uni-RAG首先检索相关教育材料，然后生成与学习目标一致的人类可读解释、反馈或指令内容。实验结果表明，Uni-RAG在检索准确率和生成质量方面均优于基准检索和RAG系统，同时保持低的计算成本。我们的框架为智能教育系统提供了一个可扩展、以教育学为基础的解决方案，桥接检索与生成，支持跨多种STEM场景中个人化、可解释且高效的学习辅助。
引用
@article{arxiv.2507.03868,
title = {From Query to Explanation: Uni-RAG for Multi-Modal Retrieval-Augmented Learning in STEM},
author = {Xinyi Wu and Yanhao Jia and Luwei Xiao and Shuai Zhao and Fengkuang Chiang and Erik Cambria},
journal= {arXiv preprint arXiv:2507.03868},
year = {2025}
}