MuraNet：基于关系注意力的多任务户型图识别网络
计算机视觉与模式识别
2023-09-04 v1
摘要
户型图数据中信息的识别需要使用检测与分割模型。然而，当同时存在多个任务时，依赖多个单任务模型会导致相关信息利用不充分。为应对这一挑战，我们提出 MuraNet，一种基于注意力的多任务模型，用于户型图数据中的分割与检测任务。在 MuraNet 中，我们采用称为 MURA 的统一编码器作为主干，并带有两个分离分支：基于 YOLOX 的增强分割解码器分支与解耦检测头分支，分别用于分割与检测任务。MuraNet 的架构设计利用了墙体、门和窗通常构成户型图建筑主要结构这一事实。通过在检测与分割任务上联合训练模型，我们认为 MuraNet 能有效提取并利用两任务的相关特征。我们在 CubiCasa5k 公开数据集上的实验表明，与 U-Net 和 YOLOv3 等单任务模型相比，MuraNet 提升了训练中的收敛速度。此外，我们观察到检测与分割任务的平均 AP 与 IoU 分别有所提升。我们的消融实验证明，MuraNet 基于注意力的统一主干在户型图识别任务中实现了更好的特征提取，且对不同任务使用解耦多头分支进一步提升了模型性能。我们相信所提 MuraNet 模型能克服单任务模型的不足，提升户型图数据识别的精度与效率。
引用
@article{arxiv.2309.00348,
title = {MuraNet: Multi-task Floor Plan Recognition with Relation Attention},
author = {Lingxiao Huang and Jung-Hsuan Wu and Chiching Wei and Wilson Li},
journal= {arXiv preprint arXiv:2309.00348},
year = {2023}
}
备注
Document Analysis and Recognition - ICDAR 2023 Workshops. ICDAR 2023. Lecture Notes in Computer Science, vol 14193. Springer, Cham