可学习灰-温纳网络中的有损常见信息
机器学习
2026-05-11 v3 计算机视觉与模式识别
信息论
math.IT
摘要
许多计算机视觉任务共享大量重叠信息，但传统编码器往往忽视这一点，导致冗余且不够高效的表征。灰-温纳网络作为信息论中的经典概念，提供了一种原则性框架，用于分离常见信息和任务特定信息。鼓舞人心的思想驱动下，我们开发了一个可学习的三通道编码器，通过在多个视觉任务之间解耦共享信息与任务特定细节。我们通过有损常见信息的概念来表征这一方法的限制，并提出一种优化目标，在学习此类表征时平衡其内在的权衡。通过对比两种编码器架构在涵盖六个视觉基准测试的两任务场景下的表现，我们展示了该方法显著减少了冗余度，并在所有情形下均一致优于独立编码。这一结果凸显了在现代机器学习上下文中重访灰-温纳理论的实际价值，桥接了经典信息论与任务驱动的表征学习。
引用
@article{arxiv.2601.21424,
title = {Lossy Common Information in a Learnable Gray-Wyner Network},
author = {Anderson de Andrade and Alon Harell and Ivan V. Bajić},
journal= {arXiv preprint arXiv:2601.21424},
year = {2026}
}