不确定性感知的手语视频检索与概率分布建模
计算机视觉与模式识别
2024-05-31 v1 信息检索
摘要
手语视频检索在促进聋人社区信息获取方面起着关键作用。尽管视频-文本检索取得了显著进展，但手语的复杂性和固有不确定性阻碍了这些技术的直接应用。先前的方法通过细粒度模态对齐实现手语视频和文本之间的映射。然而，由于细粒度标注的稀缺性，手语视频中固有的不确定性被低估，限制了手语检索任务的进一步发展。为了应对这一挑战，我们提出了一种新颖的不确定性感知概率分布检索（UPRet），该方法从概率分布的角度概念化手语视频和文本的映射过程，探索它们潜在的相互关系，并实现灵活的映射。在三个基准上的实验证明了我们方法的有效性，在How2Sign（59.1%）、PHOENIX-2014T（72.0%）和CSL-Daily（78.4%）上取得了最先进的结果。
引用
@article{arxiv.2405.19689,
title = {Uncertainty-aware sign language video retrieval with probability distribution modeling},
author = {Xuan Wu and Hongxiang Li and Yuanjiang Luo and Xuxin Cheng and Xianwei Zhuang and Meng Cao and Keren Fu},
journal= {arXiv preprint arXiv:2405.19689},
year = {2024}
}