TUCaN：以渐进式教学将着色赋予胶囊网络

自动图像着色是研究如何为灰度图像（用于修复）着色的计算机视觉研究路径。深度学习技术改进了图像着色并产生了令人惊叹的结果。这些结果因各种因素而异，如结构差异、输入类型、用户辅助等。其中大多数以卷积层为基础架构，未强调专用于对象特征提取的层。我们引入了一种名为 TUCaN（Tiny UCapsNet）的新型下采样-上采样架构，其利用卷积层与胶囊层的协作，获得每幅图像中实体的清晰着色。这是通过跳跃与残差连接强制这些层之间协作而实现的。我们将该问题表述为逐像素颜色分类任务，将颜色识别为量化空间中的一个 bin。为训练网络，与标准端到端学习方法不同，我们提出渐进式学习方案，仅通过操控学习过程而不改变模型来提取对象上下文。在该方案中，上采样从低分辨率图像重建开始，并在整个训练阶段逐步增长到高分辨率图像。在三个基准数据集上的实验结果表明，我们使用 ImageNet10k 数据集的方法在标准质量指标上优于现有方法，并在图像着色上取得最先进的性能。我们进行了用户研究以量化着色结果的感知真实感，证明：渐进式学习使 TUCaN 获得比端到端方案更好的颜色；并指出已有评价指标的局限性。