稀疏即设计的跨模态预测：L0-Gated 表征用于可靠且高效的学习

预测系统日益跨越异构模态，如图、语言和表格记录，但稀疏性和效率仍局限于特定模态（图的边缘或邻域稀疏化、Transformer 注意力头或层级剪枝、独立的表格特征选择流程）。这种碎片化使得结果难以比较，复杂化了部署，削弱了端到端 KDD 流水线中的可靠性分析。统一的稀疏化原语将使准确性-效率权衡在模态间可比较，并支持在表征压缩下的受控可靠性分析。我们询问是否可以设计一种单一的表征层面机制，即可在模态间实现可 comparable 的准确性-效率权衡，同时保持或提升概率校准。我们提出 L0-Gated 跨模态学习（L0GM），一种模态无关的、基于特征的硬具体门控框架，直接在学习到的表征上强制执行 L0 稀疏性。L0GM 为每个模态的分类器面向界面附加硬具体随机门：节点嵌入（GNN）、池化序列嵌入如 CLS（Transformer），以及学习到的表格嵌入向量（表格模型）。这产生一种端到端可训练的稀疏化，搭配用于控制活跃特征比例的显式控制旋钮。为稳定优化并使权衡可解释，我们引入一种 L0-退火计划，以诱导清晰的准确性-稀疏性帕累托前沿。在 ogbn-products、Adult、IMDB 三个公开基准测试中，L0GM 在保持竞争性预测性能的同时激活更少的表征维度，并在我们的评估中降低了预期校准误差（Expected Calibration Error, ECE）。总体而言，L0GM 建立了一个模态无关、可复现的稀疏化原语，支持跨异构模态的准确性、效率和校准权衡分析。