面向直播中人-物交互检测的原型嵌入优化
计算机视觉与模式识别
2025-08-05 v2
摘要
直播通常涉及主播与物体之间的交互，这对于理解和监管网络内容至关重要。尽管人-物交互（HOI）检测在通用视频下游任务中取得了一些进展，但当其应用于识别直播中主播与不同物体之间的交互行为时，往往过于关注物体而忽略了它们与主播的交互，从而导致物体偏差。为了解决这个问题，我们提出了一种用于人-物交互检测的原型嵌入优化方法（PeO-HOI）。首先，使用目标检测和跟踪技术对直播视频进行预处理，以提取人-物（HO）对的特征。然后，采用原型嵌入优化来减轻物体偏差对 HOI 的影响。最后，在对 HO 对之间的时空上下文进行建模后，通过预测头获得 HOI 检测结果。实验结果表明，所提出的 PeO-HOI 方法在公开数据集 VidHOI 上的检测准确率分别为 37.19%@full、51.42%@non-rare、26.20%@rare，在自建数据集 BJUT-HOI 上分别为 45.13%@full、62.78%@non-rare 和 30.37%@rare，有效提升了直播中的 HOI 检测性能。
引用
@article{arxiv.2505.22011,
title = {Prototype Embedding Optimization for Human-Object Interaction Detection in Livestreaming},
author = {Menghui Zhang and Jing Zhang and Lin Chen and Li Zhuo},
journal= {arXiv preprint arXiv:2505.22011},
year = {2025}
}
备注
Accepted by IEEE MMSP 2025