点击至关重要：迈向交互式人体解析
计算机视觉与模式识别
2021-12-17 v2
摘要
在本工作中，我们关注交互式人体解析（IHP），其目标是在用户交互的指导下将人体图像分割为多个身体部位。这一新任务继承了人体解析的类别感知属性，而传统的交互式图像分割方法通常是类别无关的，无法很好地解决该任务。为应对此新任务，我们首先利用用户点击来识别给定图像中的不同人体部位。这些点击随后被转换为语义感知定位图，并与RGB图像拼接形成分割网络的输入，生成初始解析结果。为使网络在修正过程中更好地感知用户意图，我们研究了几种主要的细化方式，并揭示基于随机采样的点击增强是促进修正有效性的最佳方式。此外，我们还提出语义感知损失（SP-loss）以增强训练，其能有效利用点击的语义关系实现更好的优化。据我们所知，本工作是首个在交互式设定下解决人体解析任务的尝试。我们的IHP方案在基准LIP上达到85% mIoU，在PASCAL-Person-Part和CIHP上达到80% mIoU，在Helen上达到75% mIoU，每类分别仅需1.95、3.02、2.84和1.09次点击。这些结果表明，我们仅需极少人力即可简单获得高质量人体解析掩码。我们希望本工作能激励更多研究者在未来开发数据高效的IHP解决方案。
引用
@article{arxiv.2111.06162,
title = {Clicking Matters:Towards Interactive Human Parsing},
author = {Yutong Gao and Liqian Liang and Congyan Lang and Songhe Feng and Yidong Li and Yunchao Wei},
journal= {arXiv preprint arXiv:2111.06162},
year = {2021}
}
备注
Human parsing, interactive segmentation, semantic segmentation