对比式多模态超图推理用于3D人群网格恢复
计算机视觉与模式识别
2026-05-15 v1 图形学
多媒体
图像与视频处理
摘要
多人3D重建是实现现实世界互动分析的关键技术，但由于严重的遮挡和深度歧义问题，仍面临较大挑战。当前方法通常依赖单一模态输入，本质上缺乏几何引导。此外，这些方法常在孤立情况下重建受试者，忽略了在拥挤场景中解决歧义所必需的集体群体背景。为此，我们提出对比式多模态超图推理，以协同语义、几何和姿态线索进行人群重建。我们首先通过结合RGB特征、几何先验和遮挡感知的不完整姿态，初始化稳健的节点表示。此外，我们引入臀部深度指示器作为全局空间锚点，将视觉特征与无尺度agnostic深度排序对齐。随后，我们构建共享拓扑超图，超越双元素约束，建模更高阶的人群动态。为提高特征融合效果，我们设计基于超图的对比学习方案，联合增强单模态内判别性并强制跨模态正交性。该机制使网络能够有效传播全局上下文信息，即使在严重遮挡下也能推断缺失信息。大量实验表明，在Panoptic和GigaCrowd基准测试上，我们的方法实现了新的状态最佳性能。代码和预训练模型已 disponible at https://github.com/SunMH-try/CoMHR.
引用
@article{arxiv.2605.13854,
title = {Contrastive Multi-Modal Hypergraph Reasoning for 3D Crowd Mesh Recovery},
author = {Minghao Sun and Chongyang Xu and Yitao Xie and Buzhen Huang and Kun Li},
journal= {arXiv preprint arXiv:2605.13854},
year = {2026}
}
备注
ICME 2026