基于主成分分析的测试时自适应
机器学习
2022-09-14 v1 人工智能
计算机视觉与模式识别
摘要
机器学习模型在测试数据与训练数据不同时容易失效，这种现实应用中常见的情况称为分布偏移。训练时知识虽然仍有效，但效力下降，需要测试时自适应以维持高性能。继假设批归一化层并利用其统计量进行自适应的方法之后，我们提出基于主成分分析的测试时自适应（TTAwPCA），其假定已拟合PCA，并在测试时基于PCA的奇异值调整谱滤波器以增强对 corruptions 的鲁棒性。TTAwPCA结合三个组件：给定层的输出通过主成分分析（PCA）分解，由其奇异值惩罚进行滤波，并通过PCA逆变换重建。该通用增强所增参数少于现有方法。在CIFAR-10-C和CIFAR-100-C上的实验以仅2000参数的单一滤波器展示了方法的有效性与局限。
引用
@article{arxiv.2209.05779,
title = {Test-Time Adaptation with Principal Component Analysis},
author = {Thomas Cordier and Victor Bouvier and Gilles Hénaff and Céline Hudelot},
journal= {arXiv preprint arXiv:2209.05779},
year = {2022}
}
备注
7 pages, 2 figures, 2 tables, accepted at Workshop on Trustworthy Artificial Intelligence in conjunction with ECML/PKDD 22