联邦学习在 LLM 的应用:FedAvg、FedIT、LoRA 与隐私保护
核心概念: 联邦学习(Federated Learning)、FedAvg、联邦指令微调(FedIT)、参数高效微调(LoRA/PEFT)、差分隐私(DP)、SplitFed 学习
实战内容:
- 理解联邦学习从 FedAvg 到 FedIT 的技术演进
- 掌握 LoRA 在联邦场景下的聚合陷阱与解决方案(FFA-LoRA / FLoRA / FeDeRA)
- 实战 OpenFedLLM 框架:联邦指令微调 + 联邦价值对齐
- 差分隐私在联邦 LLM 中的部署策略
技术栈: PyTorch + LoRA/PEFT + OpenFedLLM + Flower/FATE
关键算法: FedAvg、FedProx、SCAFFOLD、FedIT、DP-SGD
数据集: Alpaca-GPT4 / FLAN / Dolly / 领域私有数据
硬件需求: 单卡消费级 GPU(LoRA + 8-bit 量化),无需多卡
参考文献(引用量最高、最原始文献):
- [1] McMahan et al. “Communication-Efficient Learning of Deep Net
订阅专栏 解锁全文

被折叠的 条评论
为什么被折叠?



