BiHRNet:一种用于人体姿态估计的二值化高分辨率网络
计算机视觉与模式识别
2023-11-20 v1
摘要
人体姿态估计(HPE)在计算机视觉应用中起着关键作用。然而,由于网络的高计算成本,难以在资源受限设备上部署最先进模型。本文提出一种名为BiHRNet(二值化HRNet)的二值化人体姿态估计器,其权重与激活表示为1。BiHRNet保留了HRNet的关键点提取能力,同时通过采用二值神经网络(BNN)使用更少计算资源。为降低网络二值化导致的精度下降,本文提出两类技术。为优化二值姿态估计器的训练过程,我们提出一种结合KL散度损失与AWing损失的新损失函数,使二值网络从其实值对应网络获得更全面的输出分布,以减少二值化引起的信息损失。为设计更利于二值化的结构,我们提出一种称为IR瓶颈的新信息重建瓶颈,以在网络初始阶段保留更多信息。此外,我们还提出一种称为MS-Block的多尺度基本块用于信息保留。我们的工作以极少精度下降换取了更低计算成本。实验结果表明,BiHRNet在MPII数据集上取得87.9的PCKh,优于所有二值姿态估计网络。在具挑战性的COCO数据集上,所提方法使二值神经网络达到70.8 mAP,优于多数被测轻量全精度网络。
引用
@article{arxiv.2311.10296,
title = {BiHRNet: A Binary high-resolution network for Human Pose Estimation},
author = {Zhicheng Zhang and Xueyao Sun and Yonghao Dang and Jianqin Yin},
journal= {arXiv preprint arXiv:2311.10296},
year = {2023}
}
备注
12 pages, 6 figures