SalFormer360：基于Transformer的360度视频视野估计模型
计算机视觉与模式识别
2026-02-05 v1
摘要
视野估计近年来因其在广泛应用中的重要性受到越来越多关注。在360度视频语境下，尤其适用于视点预测和沉浸式内容优化等任务。本文提出SalFormer360，一个基于Transformer架构的360度视频视野估计新模型。我们的做法是将现有编码器架构SegFormer与自定义解码器组合。SegFormer原本开发用于2D分割任务，已微调适配360度内容。为进一步提升模型在该场景中的预测精度，我们将观察中心偏差纳入模型，以反映360度环境中用户的注意力分布。在三个最大360度视频视野估计基准数据集上的大规模实验表明，SalFormer360在所有最先进方法上均表现优异。就Pearson相关系数而言，该模型在Sport360上实现8.4%的性能提升、PVS-HM上提升2.5%、VR-EyeTracking上提升18.6%。
引用
@article{arxiv.2602.04584,
title = {SalFormer360: a transformer-based saliency estimation model for 360-degree videos},
author = {Mahmoud Z. A. Wahba and Francesco Barbato and Sara Baldoni and Federica Battisti},
journal= {arXiv preprint arXiv:2602.04584},
year = {2026}
}