通过对抗信息分离细化信息瓶颈
机器学习
2026-02-10 v2
摘要
从有限数据中泛化是物质科学等领域模型的关键任务，因为实验数据集中的任务相关特征常被测量噪声和实验制件严重混淆。标准正则化技术无法精确分离有意义的特征与噪声，而现有的对抗适应方法受限于依赖显式分离标签。为此，我们提出对抗信息分离框架（Adversarial Information Separation Framework，AdverISF），在不要求显式监督的情况下隔离任务相关特征与噪声。AdverISF 引入自监督的对抗机制，以实现任务相关特征与噪声表示之间的统计独立性。它进一步采用多层分离架构，沿特征层次结构逐层循环噪声信息，以恢复不慎被丢弃为噪声的特征，从而实现更细粒度的特征提取。广泛的实验表明，AdverISF 在数据稀缺场景下超越最先进的方法。在此基础上，针对真实世界的材料设计任务的评估显示，其实现了优越的泛化性能。
引用
@article{arxiv.2602.06549,
title = {Refining the Information Bottleneck via Adversarial Information Separation},
author = {Shuai Ning and Zhenpeng Wang and Lin Wang and Bing Chen and Shuangrong Liu and Xu Wu and Jin Zhou and Bo Yang},
journal= {arXiv preprint arXiv:2602.06549},
year = {2026}
}