基于神经图共识的多任务场景理解半监督学习
计算机视觉与模式识别
2020-12-04 v2
摘要
我们通过寻找神经网络图中的共识,解决了在世界的多种视觉解释背景下的半监督学习这一挑战性问题。每个图节点是一个场景解释层,而每条边是一个深度网络,将一个节点处的某一层转换为另一节点处的另一层。在监督阶段,边网络被独立训练。在接下来的无监督阶段,边网络在由到达该网络起始和终止节点的多条路径之间共识所提供的伪真值上进行训练。这些路径对于任何给定边充当集成教师,并且强共识被用于高置信度监督信号。无监督学习过程在若干代中重复,其中每条边成为“学生”并且也成为用于训练其他学生的不同集成“教师”的一部分。通过优化不同路径之间的这种共识,该图在面对未知标签时于多种解释和代际上达到一致性与鲁棒性。我们给出了所提思想的理论依据,并在大型数据集上进行了验证。我们展示了如何通过我们图中的自监督共识来有效学习来自RGB输入的不同表示(如深度、语义分割、表面法线和姿态)的预测。我们还与多任务和半监督学习的最先进(state-of-the-art)方法进行比较,并展示了更优的性能。
引用
@article{arxiv.2010.01086,
title = {Semi-Supervised Learning for Multi-Task Scene Understanding by Neural Graph Consensus},
author = {Marius Leordeanu and Mihai Pirvu and Dragos Costea and Alina Marcu and Emil Slusanschi and Rahul Sukthankar},
journal= {arXiv preprint arXiv:2010.01086},
year = {2020}
}
备注
Accepted at the 35th AAAI Conference on Artificial Intelligence (AAAI 2021)