ECG-Byte：面向电生理图生成式语言建模的分词器
计算与语言
2025-07-31 v3 信号处理
摘要
大型语言模型（LLM）在多个领域展现出卓越的多样性，其中包括对心电图（ECG）的应用。越来越多的工作致力于从多通道ECG信号及其对应文本提示生成文本。现有方法通常采用两阶段流程：首先以自监督学习目标预训练ECG专用编码器，然后在编码器提取的特征上进行微调以实现自然语言生成（NLG）。然而，这些方法存在两个关键局限性：因多阶段训练导致的效率低下，以及难以解释编码器生成的特征。为克服这些问题，我们提出ECG-Byte，一种用于ECG自回归语言建模的适配字节对编码（BPE）分词器管道。ECG-Byte将ECG信号压缩编码为token，实现ECG与文本token的直接拼接，从而支持端到端LLM训练。该方法增强了可解释性，因ECG token可直接映射回原始信号。基于ECG-Byte，我们在保持竞争性NLG性能的同时，以更快的训练速度（快3倍）和更少的数据需求（仅需48%）实现了训练。
引用
@article{arxiv.2412.14373,
title = {ECG-Byte: A Tokenizer for End-to-End Generative Electrocardiogram Language Modeling},
author = {William Han and Chaojing Duan and Michael A. Rosenberg and Emerson Liu and Ding Zhao},
journal= {arXiv preprint arXiv:2412.14373},
year = {2025}
}
备注
38 pages, 9 figures; Accepted to MLHC 2025