ES-MVSNet：面向端到端自监督多视图立体的高效框架
计算机视觉与模式识别
2023-08-07 v1
摘要
相比多阶段自监督多视图立体（MVS）方法，端到端（E2E）方法因其简洁高效的训练流程受到更多关注。近期E2E自监督MVS方法集成了第三方模型（如光流模型、语义分割模型、NeRF模型等）以提供额外一致性约束，这增加了GPU内存消耗并使模型结构与训练流程复杂化。本工作中，我们提出一种面向端到端自监督MVS的高效框架，称为ES-MVSNet。为缓解当前E2E自监督MVS框架的高内存消耗，我们提出一种内存高效架构，在不损害模型性能的前提下将内存使用降低43%。此外，通过非对称视图选择策略与区域感知深度一致性的新颖设计，我们在不依赖第三方模型获取额外一致性信号的情况下，取得了E2E自监督MVS方法中最好的性能。在DTU和Tanks&Temples基准上的大量实验表明，所提ES-MVSNet方法在E2E自监督MVS方法中取得了最优性能，并与许多有监督及多阶段自监督方法性能相当。
引用
@article{arxiv.2308.02191,
title = {ES-MVSNet: Efficient Framework for End-to-end Self-supervised Multi-View Stereo},
author = {Qiang Zhou and Chaohui Yu and Jingliang Li and Yuang Liu and Jing Wang and Zhibin Wang},
journal= {arXiv preprint arXiv:2308.02191},
year = {2023}
}
备注
arXiv admin note: text overlap with arXiv:2203.03949 by other authors