改进多列卷积神经网络在人群计数中的学习

人群/头部尺寸尺度上的巨大差异是人群计数的一个关键问题。为提升特征表示的尺度不变性，近期工作广泛采用具有多列结构的卷积神经网络来处理不同尺度与分辨率。然而，由于各列中存在大量冗余参数，现有多列网络在不同列中总表现出几乎相同的尺度特征，严重影响计数精度并导致过拟合。本文中，我们提出一种新颖的多列互学习（McML）策略来解决该问题。它有两个主要创新：1）将统计网络引入多列框架以估计列间互信息，可近似指示不同列特征的尺度相关性。通过最小化互信息，引导每列学习具有不同图像尺度的特征。2）我们设计了一种互学习方案，可在每个小批量训练数据上保持其他列固定而交替优化每一列。借助这种异步参数更新过程，每列倾向于学习不同于其他列的特征表示，从而有效降低参数冗余并提升泛化能力。更值得注意的是，McML 可应用于所有现有多列网络且为端到端可训练。在四个具挑战性基准上的大量实验表明，McML 能显著改进原有多列网络并优于其他 SOTA 方法。