ZeroSiam：一种无Collapse的测试时熵优化高效非对称结构
机器学习
2026-05-19 v3 网络与互联网体系结构
摘要
测试时熵最小化有助于模型适应新环境并激励其推理能力，使模型在推理过程中能够自我演化并实时改进，基于自身预测实现出色的性能。然而，纯熵最小化可能偏好非可 generalizations 的捷径，例如膨胀逻辑范数并驱动所有预测趋向主导类别以降低熵，从而导致严重的崩溃解（例如常数 one-hot 输出），这些解在目标函数上轻易实现且毫无意义。本文揭示了非对称性是防止崩溃的关键机制，并提出ZeroSiam——一种为测试时熵最小化设计的高效非对称 Siamese 架构。ZeroSiam 通过非对称散度对齐实现防崩溃，该机制通过可学习的预测器和分类器前的停止梯度算子高效实现。我们提供了经验和理论证据表明，ZeroSiam不仅防止了崩溃，还正则化了偏置学习信号，即使不存在崩溃亦能提升性能。尽管方法简单，大量实验表明，ZeroSiam在各类挑战性测试场景和多样化模型（包括尤其容易崩溃的小模型）上表现更稳定，仅需极少开销，即可在视觉适应和大语言模型推理任务中取得优异效果。
关键词
引用
@article{arxiv.2509.23183,
title = {ZeroSiam: An Efficient Asymmetry for Test-Time Entropy Optimization without Collapse},
author = {Guohao Chen and Shuaicheng Niu and Deyu Chen and Jiahao Yang and Zitian Zhang and Mingkui Tan and Pengcheng Wu and Zhiqi Shen},
journal= {arXiv preprint arXiv:2509.23183},
year = {2026}
}