下游预测的混合配置
机器学习
2025-10-23 v1
摘要
人类拥有对对象按相似性分组的先天能力，这种认知机制旨在模拟聚类算法。在社区检测的最新进展中，使我们能够发现无需标记数据即可发现的配置——跨多个分辨率尺度的有效层次聚类。在本文中，我们正式描述了这些配置，并在视觉转换器中的寄存�标记中识别出类似的涌现结构。与寄存时标记不同，配置具有更低的冗余度，无需进行临时性选择。它们可以通过无监督或自监督方法学习，但其选择或组成仍特定于下游任务和输入。基于这些洞察，我们引入GraMixC，一个即插即用模块，从配置中提取信息，通过我们的Reverse Merge/Split（RMS）技术对其进行对齐，并通过注意力头融合后传递给任何下游预测器。在DSN1 16S rRNA培养介质预测任务上，GraMixC 将 R2 分数从0.6提升至0.9，刷新了最佳纪录。我们进一步在标准表格基准上验证了GraMixC，证明其持续优于单分辨率和静态特征基线。
引用
@article{arxiv.2510.19248,
title = {Mixing Configurations for Downstream Prediction},
author = {Juntang Wang and Hao Wu and Runkun Guo and Yihan Wang and Dongmian Zou and Shixin Xu},
journal= {arXiv preprint arXiv:2510.19248},
year = {2025}
}
备注
16 pages,13 figures, conference paper. Equal contribution: Juntang Wang and Hao Wu