基于基础模型的测试时标准化：面向鲁棒感知
计算机视觉与模式识别
2025-09-17 v2 机器学习
摘要
现实世界中的感知需要对多样化的观察条件具有鲁棒性。现有方法常依赖特定架构或通过预定义数据增强进行训练，限制了适应性。借鉴人类视觉中的心理旋转概念，我们提出 FOCAL 框架，通过将输入转换为最典型的视图来实现测试时鲁棒性。在推理阶段，FOCAL 探索一组转换后的图像，并选择在基础模型先验条件下概率最高的那一个。这种测试时优化在不需重新训练或修改网络结构的情况下显著提升了鲁棒性。应用于 CLIP 和 SAM 等模型后，能显著提升对包括 2D 和 3D 旋转、对比度和光照变化以及昼夜变化等多种转换的鲁棒性。我们还探讨了在主动视觉中的潜在应用。通过将不变性重新表述为测试时优化问题，FOCAL 提供了一种通用且可扩展的鲁棒性方法。我们的代码已公开：https://github.com/sutkarsh/focal。
引用
@article{arxiv.2507.10375,
title = {Test-Time Canonicalization by Foundation Models for Robust Perception},
author = {Utkarsh Singhal and Ryan Feng and Stella X. Yu and Atul Prakash},
journal= {arXiv preprint arXiv:2507.10375},
year = {2025}
}
备注
Published at ICML 2025