CaRe-Ego：面向自我中心交互式手-物分割的接触感知关系建模
计算机视觉与模式识别
2025-05-06 v3
摘要
自我中心交互式手-物分割（EgoIHOS）需要对自我中心图像中的手部和交互物体进行分割，这对于理解辅助系统中的人类行为至关重要。先前的方法通常仅基于视觉特征将手部和交互物体识别为不同的语义类别，或者简单地将手部预测作为物体分割的辅助线索。尽管这些方法取得了令人鼓舞的进展，但它们未能充分建模手部与物体之间的交互关系，同时忽略了物体类别之间的耦合物理关系，最终限制了它们的分割性能。为了弥补现有方法的不足，我们提出了一种名为CaRe-Ego的新方法，该方法通过从两个方面强调手部与物体之间的接触，实现了最先进的性能。首先，我们引入了手部引导的物体特征增强器（HOFE）来建立手-物交互关系，以提取更多与接触相关且具有判别性的物体特征。其次，我们设计了以接触为中心的物体解耦策略（CODS），以显式建模和解耦物体类别之间的耦合关系，从而强调接触感知的特征学习。在各种域内和域外测试集上的实验表明，CaRe-Ego显著优于现有方法，并具有强大的泛化能力。代码可在 https://github.com/yuggiehk/CaRe-Ego/ 公开获取。
引用
@article{arxiv.2407.05576,
title = {CaRe-Ego: Contact-aware Relationship Modeling for Egocentric Interactive Hand-object Segmentation},
author = {Yuejiao Su and Yi Wang and Lap-Pui Chau},
journal= {arXiv preprint arXiv:2407.05576},
year = {2025}
}