一种普适增强深度神经网络任务的层应力学习框架
图像与视频处理
2021-11-17 v1 人工智能
计算机视觉与模式识别
摘要
深度神经网络（DNN）如多层感知机（MLP）与卷积神经网络（CNN）是最成熟的深度学习算法之一。鉴于隐藏层数量对网络架构与性能的巨大量影响，选择隐藏层数量十分重要却仍是严峻挑战。更重要的是，当前网络架构仅能处理特征提取器最后一层的资讯，极大限制了我们进一步提升其性能。此处我们提出一种层应力深度学习框架（x-NN），其通过先设计足够数量的层、再由多头注意力块权衡它们，在深度网络中实现对浅层或深层特征图的自动且明智的深度决策。x-NN 可通过注意力分配利用来自不同深度层的特征，并据此辅助最终决策。结果表明，x-NN 在 2021 年 PRCV 阿尔茨海默病分类技术挑战赛中展现出卓越预测能力，夺得桂冠并超越所有其他 AI 模型。此外，x-NN 的性能经另一 AD 神经影像数据集及其他 AI 任务验证。
引用
@article{arxiv.2111.08597,
title = {A layer-stress learning framework universally augments deep neural network tasks},
author = {Shihao Shao and Yong Liu and Qinghua Cui},
journal= {arXiv preprint arXiv:2111.08597},
year = {2021}
}