重新思考对比学习中的最小充分表示

对数据不同视图间的对比学习在自监督表示学习领域取得了卓越成功，所学表示在广泛的下游任务中十分有用。由于一个视图的所有监督信息均来自另一视图，对比学习近似获得包含视图间共享信息并消除非共享信息的最小充分表示。考虑到下游任务的多样性，无法保证所有任务相关信息均在视图间共享。因此，我们假设非共享的任务相关信息不可忽略，并从理论上证明对比学习中的最小充分表示对下游任务并不充分，这会导致性能下降。这揭示了一个新问题：对比学习模型存在过拟合于视图间共享信息的风险。为缓解该问题，我们提出在训练中由于无法利用任何下游任务信息，将表示与输入间的互信息作为正则化以增加之，从而近似引入更多任务相关信息。大量实验验证了我们分析的合理性与方法的有效性，显著提升了若干经典对比学习模型在下游任务中的性能。我们的代码见 https://github.com/Haoqing-Wang/InfoCL。