通过展开学习到的图平滑先验实现可解释轻量级变压器
机器学习
2024-11-07 v2 计算机视觉与模式识别
图像与视频处理
信号处理
摘要
我们构建可解释且轻量级的类似变压器神经网络，通过展开最小化图平滑先验的迭代优化算法来实现，其中包括二次图拉普拉斯正则化（GLR）和范图总变异（GTV），同时满足插值约束。关键洞察在于，归一化信号相关的图学习模块相当于常规变压器中基本自注意力机制的变体。与需要学习大量键、查询和值矩阵以计算比例点积作为相似度并随后生成输出嵌入，从而导致参数规模巨大的“黑箱”变压器不同，我们的展开网络采用浅层CNN学习每个节点的低维特征，以建立两两马氏距离并构建稀疏相似图。在每一层，给定学习到的图后，目标插值信号仅为对假设图平滑先验最小化所得的低通滤波输出，因而参数数量大幅降低。针对两种图像插值应用进行实验，验证了我们基于图的展开网络在恢复性能、参数效率和对协变量漂移的鲁棒性方面优于常规变压器。
引用
@article{arxiv.2406.04090,
title = {Interpretable Lightweight Transformer via Unrolling of Learned Graph Smoothness Priors},
author = {Tam Thuc Do and Parham Eftekhar and Seyed Alireza Hosseini and Gene Cheung and Philip Chou},
journal= {arXiv preprint arXiv:2406.04090},
year = {2024}
}