冻结、扩散、解码：面向抗菌肽设计的预训练变换器嵌入几何感知适配
机器学习
2025-12-01 v1
摘要
预训练变换器提供丰富的通用嵌入，将其传递到下游任务。然而，当前的迁移策略：微调和探测，要么扭曲嵌入的预训练几何结构，要么缺乏足够的表达能力来捕获任务相关信号。当监督数据稀缺时，这些问题尤为突出。本文引入 Freeze, Diffuse, Decode (FDD)，一种基于扩散的新型框架，用于在保持嵌入底层几何结构的前提下适配预训练嵌入以适应下游任务。FDD 沿着冻结嵌入的内在流形传递监督信号，实现嵌入空间的几何感知适配。应用于抗菌肽设计，FDD 产生低维、可预测且可解释的表示，支持属性预测、检索和潜在空间插值。
引用
@article{arxiv.2511.23120,
title = {Freeze, Diffuse, Decode: Geometry-Aware Adaptation of Pretrained Transformer Embeddings for Antimicrobial Peptide Design},
author = {Pankhil Gawade and Adam Izdebski and Myriam Lizotte and Kevin R. Moon and Jake S. Rhodes and Guy Wolf and Ewa Szczurek},
journal= {arXiv preprint arXiv:2511.23120},
year = {2025}
}
备注
16 pages, 4 figures