FIESTA：基于 Fisher 信息的高效选择性测试时自适应
计算机视觉与模式识别
2025-04-01 v1 人工智能
机器学习
摘要
在无约束的“野外”环境中实现鲁棒的面部表情识别仍然具有挑战性，这是因为训练与测试分布之间存在显著的领域偏移。测试时自适应 (TTA) 通过在推理过程中自适应预训练模型且无需标记的测试数据，提供了一种有前景的解决方案。然而，现有的 TTA 方法通常依赖于手动选择要更新的参数，这可能导致次优的自适应效果和高昂的计算成本。本文提出了一种新颖的基于 Fisher 信息驱动的选择性自适应框架，该框架根据 Fisher 信息所量化的参数重要性，动态识别并仅更新最关键的模型参数。通过将这种基于原理的参数选择方法与时间一致性约束相结合，我们的方法能够实现针对基于视频的面部表情识别的高效且有效的自适应。在具有挑战性的 AffWild2 基准上的实验表明，我们的方法显著优于现有的 TTA 方法，在仅自适应 22,000 个参数的情况下，相较基线模型实现了 7.7% 的 F1 分数提升——比同类方法少 20 倍以上。我们的消融研究进一步表明，参数重要性可以有效地从极少的数据中进行估计，仅采样 1-3 帧即可获得显著的性能提升。所提方法不仅提高了识别精度，还大幅降低了计算开销，使测试时自适应在现实世界中的情感计算应用中更加实用。
引用
@article{arxiv.2503.23257,
title = {FIESTA: Fisher Information-based Efficient Selective Test-time Adaptation},
author = {Mohammadmahdi Honarmand and Onur Cezmi Mutlu and Parnian Azizian and Saimourya Surabhi and Dennis P. Wall},
journal= {arXiv preprint arXiv:2503.23257},
year = {2025}
}