ModSelect：面向合成到真实域泛化的自动模态选择
计算机视觉与模式识别
2023-11-28 v1
摘要
模态选择是设计多模态系统的重要步骤，尤其在跨域活动识别中，因为某些模态相较其他模态对域偏移更具鲁棒性。然而，要仅选取具有正向贡献的模态，需要一种系统性的方法。我们通过提出一种无需任何真实标签的无监督模态选择方法（ModSelect）来解决该问题。我们确定多个单模态分类器预测之间的相关性及其嵌入间的域差异。随后，我们系统性地计算模态选择阈值，仅选取具有高相关性且低域差异的模态。我们在实验中表明，我们的方法 ModSelect 仅选择具有正向贡献的模态，并持续在合成到真实域自适应基准上提升性能，缩小域差距。
引用
@article{arxiv.2208.09414,
title = {ModSelect: Automatic Modality Selection for Synthetic-to-Real Domain Generalization},
author = {Zdravko Marinov and Alina Roitberg and David Schneider and Rainer Stiefelhagen},
journal= {arXiv preprint arXiv:2208.09414},
year = {2023}
}
备注
14 pages, 6 figures, Accepted at ECCV 2022 OOD workshop