全卷积网络优化景观的可视化洞察
机器学习
2019-01-25 v1 机器学习
摘要
许多图像处理任务涉及图像到图像的映射，这可由全卷积网络（FCN）很好地解决而无需任何繁重的预处理。尽管凭经验设计和训练FCN能取得令人满意的结果，但性能提升的原因略显模糊。我们的研究旨在通过可视化优化景观来理解其泛化能力。目标函数的可视化通过选取一个解并将其邻域投影到3D空间获得。我们在多个数据集上比较了三种基于FCN的网络（两个已有模型与本文新提出用于比较的模型）。实践中观察到，从预池化特征图到上采样后的连接能取得更好结果。我们探究其原因并提供实验表明，FCN中的跳跃层连接能促进平坦的优化景观，而众所周知平坦景观泛化更好。此外，我们探索了不同批量大小下模型泛化能力与损失曲面之间的关系。结果表明，大批量训练使模型收敛到具有混沌邻域的尖锐极小点，而小批量方法使模型导向具有平滑且近凸区域的平坦极小点。我们的工作可有助于对FCN设计与训练的理解和剖析。
引用
@article{arxiv.1901.08556,
title = {Visualized Insights into the Optimization Landscape of Fully Convolutional Networks},
author = {Jianjie Lu and Kai-yu Tong},
journal= {arXiv preprint arXiv:1901.08556},
year = {2019}
}
备注
In AAAI-19 Workshop on Network Interpretability for Deep Learning