基于元提示的测试时个性化视线估计

尽管近年来在视线估计方面取得了显著成就，但在无标签情况下进行高效准确的视线估计个性化是一个实际问题，但在文献中很少涉及。为了实现高效的个性化，我们从自然语言处理的最新进展中汲取灵感，在测试时更新极少量的参数——“提示”。具体来说，提示被附加而不干扰原始网络，并且可以包含少于ResNet-18参数的1%。我们的实验显示了提示调优方法的高效性。所提出的方法在适应速度上可以比对比方法快10倍。然而，在无标签情况下更新提示以实现个性化视线估计并非易事。在测试时，确保最小化特定无监督损失能够导致最小化视线估计误差的目标至关重要。为了解决这个困难，我们提出元学习提示，以确保其更新与目标一致。我们的实验表明，即使使用简单的对称损失，元学习提示也能有效适应。此外，我们在四个跨数据集验证上进行了实验，显示了所提出方法的显著优势。代码可在https://github.com/hmarkamcan/TPGaze获取。