基于随机取整的热图回归
计算机视觉与模式识别
2021-08-27 v2
摘要
热图回归已成为基于深度学习的语义关键点定位(包括人脸关键点定位与人姿态估计)的主流方法。尽管热图回归对非受限场景中的姿态、光照和遮挡的大幅变化具有鲁棒性,它通常存在亚像素定位问题。具体而言,考虑到热图中的激活点索引始终为整数,当使用热图作为数值坐标的表示时便会出现量化误差。以往克服亚像素定位问题的方法通常依赖高分辨率热图。因此,在定位精度与计算代价之间总存在权衡,且热图回归的计算复杂度以二次方式依赖于热图分辨率。本文形式化分析了原始热图回归的量化误差,并提出了一种简单而有效的量化系统以解决亚像素定位问题。由随机取整操作诱导的所提量化系统:1)在训练期间以概率方式将数值坐标的小数部分编码进真值热图;2)在测试期间从一组激活点解码出预测的数值坐标。我们证明了所提热图回归量化系统是无偏且无损的。在主流人脸关键点定位数据集(WFLW、300W、COFW 和 AFLW)与人姿态估计数据集(MPII 和 COCO)上的实验结果证明了该方法在高效且准确的语义关键点定位中的有效性。代码见 http://github.com/baoshengyu/H3R。
引用
@article{arxiv.2009.00225,
title = {Heatmap Regression via Randomized Rounding},
author = {Baosheng Yu and Dacheng Tao},
journal= {arXiv preprint arXiv:2009.00225},
year = {2021}
}
备注
To appear in TPAMI