Lighthouse:面向可复现视频时刻检索与高亮检测的用户友好型库
计算机视觉与模式识别
2024-10-08 v3 计算与语言
多媒体
摘要
我们提出了Lighthouse,一个用于可复现视频时刻检索和高亮检测(MR-HD)的用户友好型库。尽管研究人员提出了 various MR-HD 方法,但研究社区仍面临两个主要问题。第一个是缺乏跨各种方法、数据集和视频-文本特征的全面且可复现实验。这是因为没有统一的训练和评估代码库涵盖多种设置。第二个是用户不友好的设计。由于以往作品使用不同的库,研究人员需要设置各自的环境。此外,大多数作品仅发布训练代码,要求用户实现整个 MR-HD 的推理过程。Lighthouse 通过实现包括六个模型、三个特征和五个数据集的统一可复现代码库来解决上述问题。此外,它提供了推理 API 和网页演示,以便让研究人员和开发人员轻松访问这些方法。我们的实验表明,Lighthouse 通常能在参考文献中复现报告的分数。代码已公开于 https://github.com/line/lighthouse。
引用
@article{arxiv.2408.02901,
title = {Lighthouse: A User-Friendly Library for Reproducible Video Moment Retrieval and Highlight Detection},
author = {Taichi Nishimura and Shota Nakada and Hokuto Munakata and Tatsuya Komatsu},
journal= {arXiv preprint arXiv:2408.02901},
year = {2024}
}
备注
accepted at EMNLP2024 - system demonstration track