农业教育元宇宙内容的层次化视觉语言检索
计算机视觉与模式识别
2025-08-20 v1
摘要
每天都会有大量教育内容上传到不同领域，包括农业和园艺。当这些视频或材料被有意义地分组时，可以更轻松地更有效地进行学习。通过元宇宙组织和丰富此类内容是一个有前景的做法，允许用户在交互和沉浸式环境中探索教育体验。然而，搜索相关的元宇宙情景并查找匹配用户兴趣的任务仍然具有挑战性。最近完成的首次工作表明，现有数据集规模小且不足以训练先进模型。在本工作中，我们作出两个主要贡献：首先，我们引入了一个包含 457 个农业主题虚拟博物馆（AgriMuseums）的数据集，每个虚拟博物馆都包含文本描述；其次，我们提出了一个层次化视觉语言模型来表示和检索相关的 AgriMuseums 使用自然语言查询。在我们的实验设置下，所提方法实现了约 62% 的 R@1 和 78% 的 MRR，证明了其有效性，并且还在现有基准测试上实现了最高可达 6% 的 R@1 和 11% 的 MRR。此外，广泛的评估验证了我们的设计选择。代码和数据集可在 https://github.com/aliabdari/Agricultural_Metaverse_Retrieval 获取。
引用
@article{arxiv.2508.13713,
title = {Hierarchical Vision-Language Retrieval of Educational Metaverse Content in Agriculture},
author = {Ali Abdari and Alex Falcon and Giuseppe Serra},
journal= {arXiv preprint arXiv:2508.13713},
year = {2025}
}
备注
Accepted for publication at the 23rd International Conference on Image Analysis and Processing (ICIAP 2025)