TS-Net：结合模态特定与公共特征的多模态块匹配
计算机视觉与模式识别
2018-06-06 v1
摘要
多模态块匹配旨在寻找来自两种不同模态的图像块之间的对应关系，例如 RGB 与草图或 RGB 与近红外。不同模态块的比较可通过发现两模态共有的信息（类 Siamese 方法）或模态特定信息（类 Pseudo-Siamese 方法）来完成。我们观察到这两种情形均非最优。这促使我们提出一种三流架构，称为 TS-Net，结合二者优势。此外，我们展示了在此类网络的中间层添加额外约束可进一步提升性能。在三个多模态数据集上的实验表明，与 Siamese 和 Pseudo-Siamese 网络相比性能有显著增益。
引用
@article{arxiv.1806.01550,
title = {TS-Net: Combining modality specific and common features for multimodal patch matching},
author = {Sovann En and Alexis Lechervy and Frédéric Jurie},
journal= {arXiv preprint arXiv:1806.01550},
year = {2018}
}