TTVD：基于 Voronoi 图的测试时适应几何框架
摘要
深度学习模型在部署到实际数据时常常难以泛化，due to the common distributional shift to the training data. 测试时适应 (TTA) 是一种在推理时用于解决此问题的新兴方案。在 TTA 中，模型在作出预测时同时进行在线适应。最近，基于邻居的方法获得了关注，原型嵌入提供位置信息以缓解训练数据和测试数据之间的特征漂移。然而，due to their inherit limitation of simplicity, they often struggle to learn useful patterns and encounter performance degradation. 为 confront this challenge, 我们从几何角度研究 TTA 문제. 我们首先揭示了基于邻居的方法的底层结构与 Voronoi 图一致，这是一种经典的用于空间划分的计算几何模型。基于此观察，我们提出了基于 Voronoi 图指导的测试时调整框架 (TTVD)，该框架利用这种几何特性的优势。具体而言，我们探讨了两个关键结构：1) 聚类诱导的 Voronoi 图 (CIVD)：该方法整合了自监督方法和熵基方法的联合贡献，以提供更丰富的信息。2) Power 图 (PD)：Voronoi 图的一种推广版本，通过为每个 Voronoi 单元分配权重来细化划分。我们在 CIFAR-10-C、CIFAR-100-C、ImageNet-C 和 ImageNet-R 上的刚性、严格评审的实验表明，TTVD 在与最先进方法相比时实现了显著的改进。此外，广泛的实验结果还探讨了批量大小和类别不平衡的影响，这两种情况在现实世界应用中常见。这些分析进一步验证了我们提出框架的鲁棒性和适应性。
引用
@article{arxiv.2412.07980,
title = {TTVD: Towards a Geometric Framework for Test-Time Adaptation Based on Voronoi Diagram},
author = {Mingxi Lei and Chunwei Ma and Meng Ding and Yufan Zhou and Ziyun Huang and Jinhui Xu},
journal= {arXiv preprint arXiv:2412.07980},
year = {2024}
}
备注
29 pages, 7 figures. Under review