FaST：针对数据有限的个性化偏好对齐的特征感知采样与调优
计算与语言
2025-08-07 v1
摘要
LLM 驱动的对话式助手通常以通用模式部署，无法满足 individual user preferences。最近，LLM 个人化——将模型针对特定用户偏好进行定制——受到越来越多的关注，以弥合这一差距。在本工作中，我们特别关注只能收集少量偏好注释的实际场景——我们定义为数据有限的个性化偏好对齐问题（PPALLI）。为支持该领域的研究，我们引入了两个数据集——DnD 和 ELIP，并对其上的各种对齐技术进行基准测试。我们进一步提出了 FaST，一种高度参数高效的方法，利用自动从数据中发现的高层特征，实现了最佳整体性能。
引用
@article{arxiv.2508.04698,
title = {FaST: Feature-aware Sampling and Tuning for Personalized Preference Alignment with Limited Data},
author = {Thibaut Thonet and Germán Kruszewski and Jos Rozen and Pierre Erbacher and Marc Dymetman},
journal= {arXiv preprint arXiv:2508.04698},
year = {2025}
}