集成掩码网络

一个 $\mathbb{R}^n\rightarrow \mathbb{R}^n$ 前馈网络能否学习矩阵-向量乘法？本研究引入了两种机制——用于接收矩阵输入的灵活掩码，以及尊重掩码依赖结构的独特网络剪枝。网络可以逼近固定操作如矩阵-向量乘法 $\phi(A,x) \rightarrow Ax$，这催生了所引入的机制，其应用面向图基模型中的依赖性试金石测试或交互阶数。