可信自注意力：使网络仅聚焦于最相关的参考点
计算机视觉与模式识别
2024-03-28 v2
摘要
遮挡点的光流预测仍然是一个尚未解决的难题。最近的方法利用自注意力寻找相关的非遮挡点作为参考，基于自相似性假设来估计遮挡点的光流。然而，它们依赖于单幅图像的视觉特征和弱约束，不足以约束训练后的网络聚焦于错误且相关性较弱的参考点。我们充分利用在线遮挡识别信息来构建遮挡扩展视觉特征和两个强约束，使网络能够学会仅聚焦于最相关的参考点，而无需遮挡真值参与网络训练。我们的方法在原框架中增加了极少的网络参数，使其非常轻量级。大量实验表明，我们的模型具有最大的跨数据集泛化能力。与最先进的方法 MATCHFlow(GMA) 相比，我们的方法在 Sintel Albedo pass 上对所有点、非遮挡点和遮挡点的误差分别降低了 18.6%、16.2% 和 20.1%。此外，我们的模型在 Sintel 基准测试中实现了最先进的性能，在 Sintel clean pass 上所有已发表的方法中排名第一。代码将开源。
引用
@article{arxiv.2403.00211,
title = {Trustworthy Self-Attention: Enabling the Network to Focus Only on the Most Relevant References},
author = {Yu Jing and Tan Yujuan and Ren Ao and Liu Duo},
journal= {arXiv preprint arXiv:2403.00211},
year = {2024}
}
备注
Correct Figure 1