面向生物医学数据的嵌入加权微调与流形去噪的领域适应 LLM 框架 (HySim-LLM)
机器学习
2025-10-10 v1 信息检索
摘要
从科学文献中提取和标准化药代动力学 (PK) 信息仍是计算药理学中的重大挑战，这限制了数据驱动模型在药物开发中的可靠性。大语言模型 (LLM) 在文本理解和推理方面取得了显著进展，但其适应结构化生物医学数据（如 PK 表格）仍受制于异构性、噪声和领域迁移。为解决这些限制，我们提出了 HySim-LLM，一个统一的数学和计算框架，集成嵌入加权微调和流形感知去噪，以增强 LLM 在生物医学数据上的鲁棒性和可解释性。我们建立了两个理论结果：（1）基于嵌入发散性的相似度加权泛化界限，量化结构化生物医学环境下适应性能；（2）基于流形的去噪保证，界定来自噪声或离流形样本的损失贡献。这些定理为生物医学领域的 LLM 微调提供了原则性基础。该框架为可靠且可解释的 LLM 在生物医学及数据密集型科学领域的适应提供了数学上的路径。
引用
@article{arxiv.2510.07796,
title = {HySim-LLM: Embedding-Weighted Fine-Tuning Bounds and Manifold Denoising for Domain-Adapted LLMs},
author = {Majid Jaberi-Douraki and Hossein Sholehrasa and Xuan Xu and Remya Ampadi Ramachandran},
journal= {arXiv preprint arXiv:2510.07796},
year = {2025}
}