Alfa：基于注意力低秩滤波适配的结构感知跨域个性化凝视估计

预训练的凝视模型学习了跨用户常见的有用模式，但细微的用户特定变异（即眼皮形状或面部结构）可能导致模型性能下降。测试时个性化（TTP）方法仅使用少量无标签样本即可针对这些用户特定的领域偏移对预训练模型进行适应：在此过程中，数据和计算资源有限，尤其适用于设备端定制。虽然流行的参数高效微调（PEFT）方法通过仅更新少量权重来解决适应成本问题，但可能未充分利用预训练滤波器中编码的结构。为更有效地利用预训练期间学习到的现有结构，我们将个性化重新框定为对现有特征进行重新加权，而非学习全新的特征。我们提出了注意力低秩滤波适应（Alfa）方法，通过对预训练滤波器中的语义模式进行重新加权来适配凝视模型。通过Alfa，奇异值分解（SVD）提取捕获眼睛和面部特征的主导空间成分。通过注意力机制，我们仅需少量无标签样本即可调整和重新加权预训练结构，选择性地放大与目标用户相关的特征。Alfa在四个跨数据集凝目基准测试中实现了最低的平均凝目误差，超越了现有的TTP方法和基于低秩适应（LoRA）的变体。我们还展示了Alfa的注意力低秩方法可用于视觉领域之外的应用，例如基于扩散的语言模型。