通过子空间对齐的回归测试时适应
机器学习
2025-01-24 v2 人工智能
摘要
本文探讨了回归任务的测试时适应 (TTA) 方法，即利用预训练于源域模型并适应未知目标分布（无标签目标数据）的回归模型。尽管回归是机器学习中的基本任务，但大多数现有 TTA 方法针对分类任务设计，假设模型输出类别型预测，而回归模型通常仅输出单个标量值。为实现回归的 TTA，我们采用特征对齐方法，对齐源域与目标域的特征分布以缓解域间差距。然而，我们发现现有分类 TTA 方法中使用的粗糙特征对齐对回归无效甚至适得其反，因为特征分布于小子空间中，许多原始特征维度对输出贡献不大。为实现回归 TTA 中的有效特征对齐，我们提出显著子空间对齐 (SSA) 方法。SSA 包含两个组成部分：子空间检测与维度加权。子空间检测寻找对输出具有代表性和显著性的特征子空间，然后在该子空间内进行特征对齐；同时，维度加权提高了对输出贡献更大的子空间维度的重要性。我们在真实数据集上实验表明，SSA 在各种基准方法上均表现出色。
引用
@article{arxiv.2410.03263,
title = {Test-time Adaptation for Regression by Subspace Alignment},
author = {Kazuki Adachi and Shin'ya Yamaguchi and Atsutoshi Kumagai and Tomoki Hamagami},
journal= {arXiv preprint arXiv:2410.03263},
year = {2025}
}
备注
Accepted to ICLR 2025