用于学习多种世界解释的自监督超图
计算机视觉与模式识别
2023-08-22 v2
摘要
我们提出一种在给定少量标注集的情况下学习多种场景表示的方法，其利用此类表示之间的关系以多任务超图的形式呈现。我们还展示了如何借助超图改进强大的预训练VisTransformer模型而无需任何额外标注数据。在我们的超图中，每个节点是场景的一个解释层（例如深度或分割）。在每个超边内，一个或多个输入节点预测输出节点处的层。因此，每个节点在某些超边中可以是输入节点，在其他超边中可以是输出节点。以此方式，多条路径可到达同一节点，形成集成，从中获得鲁棒伪标签，从而实现超图中的自监督学习。我们测试了不同的集成模型与不同类型的超边，并展现出优于该领域其他多任务图模型的性能。我们还引入了Dronescapes，一个由无人机在不同复杂真实场景拍摄的大型视频数据集，具有多种表示，适用于多任务学习。
引用
@article{arxiv.2308.07615,
title = {Self-supervised Hypergraphs for Learning Multiple World Interpretations},
author = {Alina Marcu and Mihai Pirvu and Dragos Costea and Emanuela Haller and Emil Slusanschi and Ahmed Nabil Belbachir and Rahul Sukthankar and Marius Leordeanu},
journal= {arXiv preprint arXiv:2308.07615},
year = {2023}
}
备注
Accepted in ICCV 2023 Workshops