SleepCoT：通过链条式蒸馏为轻量级个性化睡眠健康模型
人工智能
2024-10-23 v1
摘要
我们提出了一种新方法，用于基于少量样本的链条式蒸馏（Chain-of-Thought, CoT）实现个性化睡眠健康管理，使小规模语言模型（>20亿参数）在专业健康领域的性能能够与大型语言模型（LLM）相当。我们的 method 同时从更大模型中蒸馏出问题解决策略、长尾专家知识和个性化推荐能力，转移到更高效、紧凑的模型中。与现有系统不同，我们的方法具备三个关键功能：生成个性化睡眠健康建议、支持用户特定的后续查询、并提供针对领域特定知识问题的响应。我们关注睡眠健康，由于可通过可穿戴设备测量且对整体健康状况具有重要影响。我们的实验设置包括使用 GPT-4o 进行数据合成、Qwen-max 创建指令集、以及 Qwen2.5 1.5B 进行模型蒸馈，结果显示在惩罚项、推理和知识应用方面相较于基线小规模模型显著提升。使用 100 个模拟睡眠报告和 1,000 个领域特定问题的实验表明，Our model 在保持高效以实现实际部署的同时，实现了与大型模型相当的性能。这项研究不仅推动了 AI 驱动的健康管理，还为在资源受限环境中利用 LLM 能力提供了新方法，potentially enhance the accessibility of personalized healthcare solutions。
引用
@article{arxiv.2410.16924,
title = {SleepCoT: A Lightweight Personalized Sleep Health Model via Chain-of-Thought Distillation},
author = {Huimin Zheng and Xiaofeng Xing and Xiangmin Xu},
journal= {arXiv preprint arXiv:2410.16924},
year = {2024}
}