使用动态增长的子网络树进行终身学习以实现视频目标分割中的域泛化
计算机视觉与模式识别
2024-05-31 v1
摘要
当前最先进的视频目标分割模型通过使用大规模标注训练数据集进行监督学习取得了巨大成功。然而，这些模型使用单一源域进行训练，并使用从同一源域采样的视频进行评估。当这些模型使用从不同目标域采样的视频进行评估时，由于域泛化能力差，即它们无法通过传统监督学习同时从多域源中学习，其性能显著下降。在本文中，我们提出了一种动态增长的子网络树（DGT），以有效地从多域源中学习。DGT使用一种新颖的终身学习技术，使模型能够持续有效地从新域中学习，而不会忘记先前学习的域。因此，模型可以泛化到域外视频。所提出的工作使用单源域内（传统视频目标分割）、多源域内和多源域外视频目标分割进行评估。DGT的结果显示，在DAVIS16和DAVIS17数据集上，单源域内性能分别提升了0.2%和3.5%。然而，当使用域内多源评估DGT时，结果显示其性能优于最先进的视频目标分割和其他终身学习技术，F-score平均提升6.9%，且灾难性遗忘最小。最后，在域外实验中，DGT在1-shot和5-shot设置下的性能分别比最先进方法高出2.7%和4%。
引用
@article{arxiv.2405.19525,
title = {Lifelong Learning Using a Dynamically Growing Tree of Sub-networks for Domain Generalization in Video Object Segmentation},
author = {Islam Osman and Mohamed S. Shehata},
journal= {arXiv preprint arXiv:2405.19525},
year = {2024}
}