BioVL-QR：使用 Micro QR 码的以自我为中心的生物化学视觉与语言数据集
计算机视觉与模式识别
2025-05-30 v3 计算与语言
多媒体
摘要
本文介绍了 BioVL-QR，一个生物化学视觉与语言数据集，包含 23 个以自我为中心的实验视频、相应的实验方案以及视觉与语言对齐。理解生化视频的一个主要挑战是检测设备、试剂和容器，因为环境杂乱且物体难以区分。以前的研究假设采用人工物体标注，这既昂贵又耗时。为了解决这个问题，我们关注 Micro QR 码。然而，由于物体操作引起的模糊和遮挡，仅使用 Micro QR 码检测物体仍然困难。为了克服这一点，我们提出了一种结合 Micro QR 码检测器与现成手部物体检测器的物体标记方法。作为该方法和 BioVL-QR 的应用，我们处理了在教学视频中定位程序步骤的任务。实验结果表明，使用 Micro QR 码和我们的方法改善了生化视频理解。数据和代码可通过 https://nishi10mo.github.io/BioVL-QR/ 获取。
引用
@article{arxiv.2404.03161,
title = {BioVL-QR: Egocentric Biochemical Vision-and-Language Dataset Using Micro QR Codes},
author = {Tomohiro Nishimoto and Taichi Nishimura and Koki Yamamoto and Keisuke Shirai and Hirotaka Kameko and Yuto Haneji and Tomoya Yoshida and Keiya Kajimura and Taiyu Cui and Chihiro Nishiwaki and Eriko Daikoku and Natsuko Okuda and Fumihito Ono and Shinsuke Mori},
journal= {arXiv preprint arXiv:2404.03161},
year = {2025}
}
备注
ICIP2025