ExpStar: 面向多学科科学实验的自动注释生成
计算机视觉与模式识别
2025-08-19 v1
摘要
实验注释在描述实验程序、深入探讨底层科学原理以及纳入内容相关安全准则方面至关重要。实际中，人类教师高度依赖于专业知识，并投入大量时间准备此类注释。为解决这一挑战，我们提出了跨多学科科学实验自动注释生成任务。虽然近期大型多模态模型（LMM）在视频理解和推理方面已显示出有前景的能力，但其生成细粒度且富有洞察力的实验注释能力仍大体未被探索。本文作出以下贡献：（i）我们构建了"ExpInstruct"，首个针对实验注释生成的数据集，涵盖来自3个核心学科（即科学、医疗和工程）的21个科学学科中超过7\text{K*条*逐步注释。每个样本包括程序描述以及潜在科学原理（如化学方程式和物理定律）和安全准则。（ii）我们提出ExpStar，一种自动实验注释生成模型，利用检索增强机制来适应性地访问、评估和利用外部知识。（iii）广泛实验表明，我们的ExpStar显著优于14个领先LMM，这突显了我们数据集和模型的优势。我们认为ExpStar在推动AI辅助科学实验教学方面具有巨大潜力。
引用
@article{arxiv.2507.09693,
title = {ExpStar: Towards Automatic Commentary Generation for Multi-discipline Scientific Experiments},
author = {Jiali Chen and Yujie Jia and Zihan Wu and Jinyu Yang and Jianpeng Chen and Xusen Hei and Jiayuan Xie and Yi Cai and Qing Li},
journal= {arXiv preprint arXiv:2507.09693},
year = {2025}
}
备注
Accepted by ACM MM 2025