面向人-物互动检测的多尺度小波注意力与射线编码概念化
计算机视觉与模式识别
2025-07-16 v1 人工智能
摘要
人-物互动（HOI）检测对于准确定位和描述人类与物体之间的互动至关重要，能够在各种领域中提供对复杂视觉场景的全面理解。然而，现有的 HOI 检测器往往难以高效地提供可靠的预测，依赖资源密集型的训练方法和低效的体系结构。为此，我们概念化了类似小波注意力的骨干网络和一个专为 HOI 检测设计的新型射线编码架构。我们的小波骨干网络解决了表达中间阶层互动的局限性，通过聚合来自多样化卷积滤波器提取的低阶和高阶互动中具辨别力的特征。同时，射线编码器通过优化解码器对相关感兴趣区域的关注，从而缓解计算开销。结果正是利用可学习射线原点的衰减强度，我们的解码器将查询嵌入与强调的感兴趣区域对齐，以实现准确的预测。在包含 ImageNet 和 HICO-DET 的基准数据集上的实验结果展示了我们所提出体系结构的潜力。代码已公开于 https://github.com/henry-pay/RayEncoder。
引用
@article{arxiv.2507.10977,
title = {Conceptualizing Multi-scale Wavelet Attention and Ray-based Encoding for Human-Object Interaction Detection},
author = {Quan Bi Pay and Vishnu Monn Baskaran and Junn Yong Loo and KokSheik Wong and Simon See},
journal= {arXiv preprint arXiv:2507.10977},
year = {2025}
}
备注
Accepted at International Joint Conference on Neural Networks (IJCNN 2025)