基于 PDE 图扩散的多模态图网络建模用于人-物交互检测
计算机视觉与模式识别
2026-03-31 v3
摘要
现有的基于 GNN 的人-物交互检测方法依赖简单的 MLP 来融合实例特征并传播信息。然而，这种机制在很大程度上是经验性的，缺乏有针对性的信息传播过程。为了解决这个问题，我们提出了一种基于偏微分方程图扩散的 HOI 检测多模态图网络建模。具体来说，我们首先设计了一个多模态图网络框架，在四阶段图结构中显式地对 HOI 检测任务进行建模。接着，我们提出了一种新颖的 PDE 扩散机制，以促进该图内的信息传播。该机制利用多模态特征，通过白盒 PDE 扩散方程传播信息。此外，我们设计了一种变分信息压缩机制，以进一步精炼从 CLIP 中提取的多模态特征，从而减轻预训练视觉-语言模型中固有噪声的影响。大量实验表明，我们的 MGNM 在两个广泛使用的基准 HICO-DET 和 V-COCO 上达到了 SOTA 性能。此外，当与更先进的目标检测器结合时，我们的方法在保持稀有和非稀有类别之间有效平衡的同时，取得了显著的性能提升。
引用
@article{arxiv.2509.12554,
title = {Multimodal Graph Network Modeling for Human-Object Interaction Detection with PDE Graph Diffusion},
author = {Wenxuan Ji and Haichao Shi and Xiao-Yu Zhang},
journal= {arXiv preprint arXiv:2509.12554},
year = {2026}
}