具有共现一致性的交互感知表示建模用于自我中心手物解析
计算机视觉与模式识别
2026-02-25 v1
摘要
对自我中心的人与环境交互的细粒度理解对于开发下一代具身代理至关重要。该领域的一个基本挑战涉及准确解析手和活动物体。虽然基于 Transformer 的架构已在此类任务中显示出相当大的潜力，但几个关键限制仍未解决：1) 现有的查询初始化机制主要依赖于语义线索或可学习参数，对不同输入场景中变化的活动物体的适应性有限；2) 先前的基于 Transformer 的方法在掩码生成期间使用像素级语义特征来迭代细化查询，这可能会将交互无关的内容引入最终嵌入；3) 主流模型容易受到“交互错觉”的影响，产生物理上不一致的预测。为解决这些问题，我们提出了一种端到端的交互感知 Transformer（InterFormer），它集成了三个关键组件，即动态查询生成器（DQG）、双上下文特征选择器（DFS）和条件共现（CoCo）损失。DQG 将查询初始化明确地基于手物接触的空间动态，能够针对手和各种活动物体生成交互感知查询。DFS 融合了粗略的交互线索与语义特征，从而抑制交互无关的噪声并强调交互关系的学习。CoCo 损失结合了手物关系约束以增强预测的物理一致性。我们的模型在 EgoHOS 和具有挑战性的分布外 mini-HOI4D 数据集上均达到了最先进的性能，证明了其有效性和强大的泛化能力。代码和模型可在 https://github.com/yuggiehk/InterFormer 公开获取。
引用
@article{arxiv.2602.20597,
title = {Interaction-aware Representation Modeling with Co-occurrence Consistency for Egocentric Hand-Object Parsing},
author = {Yuejiao Su and Yi Wang and Lei Yao and Yawen Cui and Lap-Pui Chau},
journal= {arXiv preprint arXiv:2602.20597},
year = {2026}
}