OOD-Probe：域外泛化的神经解释框架
机器学习
2022-08-29 v1
摘要
域外（OOD）泛化能力是深度神经网络发展的重要目标，研究者已从不同基础提出了许多高性能的 OOD 泛化方法。尽管许多 OOD 算法在各种场景中表现良好，这些系统却作为“黑盒”被评估。相反，我们提出一个灵活框架，利用探测模块从中间表示预测来源域，从而以更细粒度评估 OOD 系统。我们发现表示总是编码关于域的某些信息。尽管层级的编码模式在不同 OOD 算法间大体稳定，它们却随数据集变化。例如，关于旋转（在 RotatedMNIST 上）的信息在较低层最显著，而关于风格（在 VLCS 和 PACS 上）的信息在中间层最显著。此外，高探测结果域泛化性能相关，为开发 OOD 泛化系统指明进一步方向。
引用
@article{arxiv.2208.12352,
title = {OOD-Probe: A Neural Interpretation of Out-of-Domain Generalization},
author = {Zining Zhu and Soroosh Shahtalebi and Frank Rudzicz},
journal= {arXiv preprint arXiv:2208.12352},
year = {2022}
}