基于证据间-内融合的跨数据集凝视估计

在复杂多样的环境中实现准确可靠的凝视预测仍具有挑战性。幸运的是，在实际应用中可以轻松获取多样化的凝视数据集。我们发现，对这些数据集进行联合训练可显著提升凝视估计的泛化能力，而这一点在以往工作中被忽视。然而，由于不同数据集之间固有的分布迁移，仅简单地混合多个数据集会降低在原始领域内的性能，尽管能获得更好的泛化能力。为解决'跨数据集凝视估计'问题，我们提出一种新颖的证据间-内融合(EIF)框架，用于训练在所有源领域和未见领域中都能良好表现的模型。具体而言，我们为各种数据集构建独立的单数据集分支，其中在每个数据集的数据空间中被划分为重叠子空间进行局部回归，并进一步创建跨数据集分支以整合来自单数据集分支的通用特征。此外，设计基于正态分布(Normal)和逆Gamma分布(Inverse-Gamma)(NIG)的证据回归器，以便除了预测凝视外，还提供不确定性估计。基于此基础上，我们的方法实现了每个数据集内部多个局部回归器之间的内证据融合以及多个分支之间的间证据融合，通过Mixture of Normal Inverse-Gamma (MoNIG)分布。实验表明，我们的方法在源领域和未见领域均实现了显著的性能提升。