Fast-HaMeR：基于知识蒸馏提升手部网格重建
计算机视觉与模式识别
2026-03-18 v1
摘要
快速且精准的 3D 手部重建是 VR/AR、人机交互、机器人和医疗等实时应用的关键需求。大多数最先进的方法依赖重型模型，限制了其在头显、智能手机和嵌入式系统等资源受限设备上的使用。本文探讨了如何通过结合轻量级神经网络与知识蒸馏，加速复杂的 3D 手部重建模型，使其更快更轻，同时保持可comparable的重建精度。虽然我们的做法适用于各种手部重建框架，但我们主要聚焦于提升当前在重建精度方面处于领先地位的 HaMeR 模型。我们将其原始 ViT-H 主干网络替换为更轻的替代方案，包括 MobileNet、MobileViT、ConvNeXt 和 ResNet，并评估三种知识蒸馏策略：输出级、特征级和两者的混合。我们的实验表明，使用仅为原模型 35% 大小的轻量主干网络即可实现 1.5 倍的推理速度，同时以仅 0.4mm 的最小精度差保持类似的性能质量。更具体地，我们发现输出级蒸馏显著提升了学生模型性能，而特征级蒸馏对高容量学生模型更有效。总体而言，研究结果为在低功耗设备上实现高效的实际应用铺平了道路。该代码和模型均在 https://github.com/hunainahmedj/Fast-HaMeR 上公开。
引用
@article{arxiv.2603.16444,
title = {Fast-HaMeR: Boosting Hand Mesh Reconstruction using Knowledge Distillation},
author = {Hunain Ahmed Jillani and Ahmed Tawfik Aboukhadra and Ahmed Elhayek and Jameel Malik and Nadia Robertini and Didier Stricker},
journal= {arXiv preprint arXiv:2603.16444},
year = {2026}
}