从不平衡数据学习稠密手部接触估计
计算机视觉与模式识别
2025-10-24 v2
摘要
手部是人类交互的关键元素，探索手部与世界之间的接触有助于全面理解其功能。最近涌现出越来越多的手部交互数据集，涵盖与物体、其他手部、场景和身体的交互。尽管该任务的重要性和高质量数据的不断增加，但如何有效学习稠密手部接触估计仍基本未被探索。学习稠密手部接触估计存在两个主要挑战：首先，手部接触数据集中存在类别不平衡问题，即大部分区域不处于接触状态；其次，手部接触数据集存在空间不平衡问题，即大部分手部接触集中在指尖，导致对其他手部区域接触的泛化性受挑战。为解决这些问题，我们提出了从不平衡数据学习稠密HAnd COntact estimation（HACO）的框架。为解决类别不平衡问题，我们引入平衡接触采样（balanced contact sampling），通过构建和采样多个采样组，公正地代表接触和非接触顶点的多样化接触统计。此外，为解决空间不平衡问题，我们提出了顶点级类别平衡（vertex-level class-balanced, VCB）损失，通过对每个顶点在数据集中接触频率对其损失贡献进行单独加权，纳入空间变化的接触分布。因此，我们能够在不受类别和空间不平衡问题影响的情况下，从大规模手部接触数据中学习稠密手部接触估计。代码已公开：https://github.com/dqj5182/HACO_RELEASE
引用
@article{arxiv.2505.11152,
title = {Learning Dense Hand Contact Estimation from Imbalanced Data},
author = {Daniel Sungho Jung and Kyoung Mu Lee},
journal= {arXiv preprint arXiv:2505.11152},
year = {2025}
}
备注
Accepted at NeurIPS 2025. Project page: http://haco-release.github.io