整体吸引线框解析:从监督学习到自监督学习
计算机视觉与模式识别
2023-09-07 v2
摘要
本文提出整体吸引线框解析(HAWP),一种对包含由线段与结点构成的线框的2D图像进行几何分析的方法。HAWP利用极简的整体吸引(HAT)场表示,以闭式4维几何向量场编码线段。所提出的HAWP由三个顺序组件构成,并借助端到端及HAT驱动的设计:(1)从HAT场生成稠密线段集并从热图生成稀疏端点提议,(2)将稠密线段绑定到稀疏端点提议以产生初始线框,(3)通过一个新颖的端点解耦感兴趣线对齐(EPD LOIAlign)模块过滤假阳性提议,该模块捕捉端点提议与HAT场之间的共现以更好地验证。得益于我们的新颖设计,HAWPv2在完全监督学习中表现出强劲性能,而HAWPv3在自监督学习中表现优异,取得了更优的重复性分数与高效的训练(单GPU上24 GPU小时)。此外,HAWPv3展示了无需提供线框真值标签即可在分布外图像中进行线框解析的良好潜力。
引用
@article{arxiv.2210.12971,
title = {Holistically-Attracted Wireframe Parsing: From Supervised to Self-Supervised Learning},
author = {Nan Xue and Tianfu Wu and Song Bai and Fu-Dong Wang and Gui-Song Xia and Liangpei Zhang and Philip H. S. Torr},
journal= {arXiv preprint arXiv:2210.12971},
year = {2023}
}
备注
Journal extension of arXiv:2003.01663; Accepted by IEEE TPAMI; Code is available at https://github.com/cherubicxn/hawp