HIGHT：分层图标记用于分子语言对齐
计算与语言
2025-06-09 v2 机器学习
定量方法
摘要
最近，人们对将大型语言模型（LLM）的成功从文本扩展到分子方面的兴趣激增。大多数现有方法采用图神经网络将分子表示为一系列节点标记，以实现分子语言对齐，但这些方法忽略了分子中固有的分层结构。值得注意的是，更高阶的分子结构包含丰富的功能基团语义，这些语义编码了分子的关键生化功能。我们表明，若在标记化中忽略分层信息，将导致分子语言对齐效果不佳并出现严重幻觉。为解决这一限制，我们提出了分层图标记（HIGHT）。HIGHT 采用分层图标记器，对原子、构象和分子层级的有信息标记进行编码，以提高 LLM 的分子感知能力。HIGHT 还采用增强的指令调优数据集，纳入分层图信息，以进一步提升分子语言对齐。14 个真实世界基准的广泛实验验证了 HIGHT 在减少 40% 幻觉方面的有效性，并在各种分子语言下游任务中实现显著性能提升。项目地址为 https://higraphllm.github.io/。
引用
@article{arxiv.2406.14021,
title = {HIGHT: Hierarchical Graph Tokenization for Molecule-Language Alignment},
author = {Yongqiang Chen and Quanming Yao and Juzheng Zhang and James Cheng and Yatao Bian},
journal= {arXiv preprint arXiv:2406.14021},
year = {2025}
}
备注
ICML2025, 27 pages, 7 figures, 23 tables; project page: https://higraphllm.github.io/