基于迭代精炼的外推式可控序列生成
机器学习
2023-06-08 v3 计算与语言
定量方法
摘要
我们研究外推式可控生成问题，即生成属性值超出训练中所见范围的序列。该任务在自动化设计中具有重要意义，尤其是药物发现，其目标是设计比现有序列更优（例如更稳定）的新型蛋白质。因此，根据定义，目标序列及其属性值处于训练分布之外，这对旨在直接生成目标序列的现有方法提出了挑战。相反，本文提出迭代可控外推（ICE），通过对序列进行迭代局部编辑来实现外推。我们在合成生成的、展现属性值小幅提升的序列对上训练模型。在一项自然语言任务（情感分析）和两项蛋白质工程任务（ACE2 稳定性与 AAV 适应度）上的结果表明，尽管 ICE 简洁，却大幅优于最先进的方法。我们的代码与模型可见于：https://github.com/vishakhpk/iter-extrapolation。
引用
@article{arxiv.2303.04562,
title = {Extrapolative Controlled Sequence Generation via Iterative Refinement},
author = {Vishakh Padmakumar and Richard Yuanzhe Pang and He He and Ankur P. Parikh},
journal= {arXiv preprint arXiv:2303.04562},
year = {2023}
}
备注
ICML 2023 - Camera Ready Version