联邦指令微调（FedIT）：让大模型在私有数据上协作学习

最新推荐文章于 2026-06-30 17:08:03 发布
原创 最新推荐文章于 2026-06-30 17:08:03 发布 · 115 阅读 · 0 GEO检测
标签
#学习

联邦指令微调（FedIT）：让大模型在私有数据上协作学习

核心概念： 联邦指令微调（Federated Instruction Tuning）、LoRA 参数高效微调、FedAvg 聚合、数据异构性、GPT-4 自动评估

项目地址

https://gitcode.com/u012133341/fedit-project/tree/main

实战内容：

  • 完整解析 FedIT 论文的架构设计与核心发现
  • 从零实现 Shepherd 框架：联邦 LoRA 微调 + FedAvg 聚合
  • 复现论文实验：异构数据分区 → 多轮联邦训练 → GPT-4 评估
  • 可视化：客户端标签分布、通信轮次-评估得分曲线

技术栈： PyTorch + HuggingFace PEFT + LoRA + bitsandbytes
关键算法： FedIT（Zhang et al., ICASSP 2024）、LoRA、FedAvg
数据集： Databricks-Dolly-15k（8 个指令类别）
基座模型： LLaMA-7B / Alpaca-7B
硬件需求： 单卡 24GB 显存（TITAN RTX / RTX 30

了解本专栏 订阅专栏 解锁全文 超级会员免费看
联邦学习在LLM的应用_FedIT_FedAvg_LoRA_隐私保护
VectorShift的博客
06-20 12
本文探讨了联邦学习（Federated Learning, FL）在大型语言模型（LLM）中的应用挑战与技术方案。文章首先分析了LLM需要联邦学习的核心矛盾：数据隐私保护与模型能力提升之间的冲突，并指出医疗、金融等领域的数据无法集中训练的问题。随后介绍了联邦学习基础算法FedAvg及其改进版本（如FedProx、SCAFFOLD等）。 重点阐述了联邦指令微调（FedIT）这一新兴技术，以及LoRA在联邦场景下的参数高效微调方法及其挑战（如聚合陷阱）。文章详细介绍了OpenFedLLM框架，该框架支持联邦指令
第52篇：OpenFedLLM: Training Large Language Models onDecentralized Private Data via Federated L论文解读
weixin_74009895的博客
06-04 181
大型语言模型（LLMs）在多个领域取得了巨大成功，但高质量的公开数据预计将在这可能成为LLMs发展的瓶颈。​私有数据的价值与限制​：大量高质量数据分散在不同实体中，但由于隐私（如医疗和金融数据）或物理限制（如缺乏网络连接）而未被充分利用。这些，限制了当前LLMs的发展。​论文提出了OpenFedLLM框架，利用（FL）在不直接共享原始数据的情况下，让多个数据所有者协作训练共享模型。
哈工深提出基于联邦学习的大模型指令微调
夕小瑶科技说
03-25 2333
FEDPIT算法通过利用LLMs的上下文学习能力生成特定任务的合成数据，
联邦大语言模型典型系统： FATE - LLM、FedLLM、FederatedScope - LLM、PrimiHub
ZhangJiqun&191cm&85kg
01-06 800
它封装了来自不同领域的联邦微调数据集集合，拥有完整的流水线和可调整的异构级别，并提供全面的联邦微调算法和通用编程接口，可降低模型训练传输时的通信开销，还配备了优化的联邦微调训练范例，能实现可定制的效率提升和跨学科研究潜力。其核心贡献在于包含多种具有多样性的数据集，如涵盖不同语言、质量和数量各异、序列长度不同以及体现不同偏好的数据集，这些数据集反映了现实数据场景的复杂性，为 FedLLM 社区提供了全面的测试平台，有助于解决现有 FedLLM 研究中缺乏真实数据集和基准测试的问题。
完全开源的语言模型学习记录--KAG
日常分享模型调优、Data Agent 搭建实操案例与行业技术思考，记录从数据预处理到智能体迭代的完整实践。沉心打磨可落地的算法方案，输出干货向技术内容，与同好一同探索数据智能与大模型进阶路径。
06-25 891
KAG（知识增强生成）框架，通过融合知识图谱与检索增强生成技术，显著提升专业领域大模型问答的准确性与逻辑推理能力。KAG创新性地构建了分层知识表示体系（LLMFriSPG）、图谱-文本双向索引、逻辑形式求解引擎、语义对齐机制和专项模型增强模块，在政务、医疗等场景中验证了其优越性。实验表明，KAG在多个多跳问答数据集上大幅超越现有方案，产业落地效果显著（政务问答精度提升25%，医疗问答准确率超93%），为专业领域知识推理提供了系统化解决方案。
APM学习（10）：数据记录
星光
06-28 198
APM学习：介绍ArduPilot数据记录相关的内容
Nature Sensors | 自供能模拟神经形态系统，用于多模态感测、编码和学习，具备扩散和漂移忆阻
weixin_44887311的博客
06-29 259
Nature Sensors最新研究提出了一种颠覆性的自供能模拟神经形态传感系统。该系统通过扩散型忆阻器直接将光、压力等模拟信号编码为脉冲时间，利用漂移型忆阻器实现无监督学习，将感知、编码和融合功能前移至传感器端。相比传统需要ADC转换和数字处理的方案，这种模拟系统显著降低了功耗和延迟，使传感器具备初级智能处理能力。研究团队通过雷击定位和人体动作识别演示验证了该技术的可行性，为边缘智能设备的低功耗传感处理提供了新思路，有望推动电网监测、可穿戴设备等领域的传感系统革新。
深度解析：如何复刻 Karpathy 式的 AI 工程思维——从学习到构建的进阶之路
weixin_44063643的博客
06-30 393
想摆脱“API调参师”的标签？本文带你深入解构 Karpathy 的工程哲学，从第一性原理学习到极简构建，助你掌握从底层原理到实战落地的核心思维，真正实现 AI 技能的进阶 🚀。
QNX PathnameManager学习整理
CHALLENG_EVERYTHING的专栏
06-27 241
当驱动/资源管理进程启动后，需要调用 resmgr_attach API 向 PathNameManager注册自己的路径，PathNameManager会将路径和调用进程的PID绑定记录，后续其他进程对该路径的访问，将由PathnameManager发送IPC到该驱动/资源管理进程。访问 /dev/cam_ln时由PathNameManager解析目标路径，然后路由到负责该路径的真实资源管理器进程/驱动进程。b. 维护挂载树，记录路径和 资源管理器进程/驱动进程的对应关系。
Elasticsearch ES|QL 新特性学习：视图、子查询与读时模式
海兰
06-26 478
Elasticsearch 9.x 版本推出 ES|QL 三大核心能力，解决数据查询中的关键痛点。逻辑视图支持查询逻辑的封装与复用，存储在集群状态中，简化复杂查询调用；FROM 子查询允许对不同结构的索引独立编写查询管道后合并，消除异构数据源的分析障碍；读时模式实现未映射字段的动态加载，避免重新索引。三者协同工作，通过视图屏蔽底层复杂性，子查询处理异构数据，读时模式扩展字段访问能力，显著提升查询灵活性和效率。新特性还包含时区支持正式GA、性能优化及新增函数，为跨索引分析和统一数据视图提供强大支持。
学习笔记-openclaw接入飞书
linqingf的专栏
06-25 212
本文介绍了如何将OpenClaw与飞书进行对接的简化配置步骤。通过新版OpenClaw的插件支持，配置过程已大幅简化。
计算机二级基础知识学习-数据结构与算法
qq_50930131的博客
06-30 154
tinyriscv学习记录之四
wangweiwei2020的博客
06-24 305
的 CPU 现场，才能安全地查看、修改和单步控制处理器。时要暂停整条流水线，是因为调试器需要一个。
Python Sqlalchemy学习——新增/修改/删除
weixin_44706420的博客
06-30 43
本文介绍图书管理系统中新增、修改和删除操作的实现。新增书籍时先检查书名是否重复；修改操作支持单个书籍信息更新和批量价格调整；删除功能通过ID定位书籍记录。所有操作均使用异步数据库会话管理，包含必要的存在性校验，并返回明确的操作结果提示。代码采用Python异步SQLAlchemy实现，展示了完整的CRUD功能示例。
LangChain 基础学习
m0_61886762的博客
06-26 190
1、注册账号，创建API_KEY2、配置环境变量：TABVILY_API_KEY3、安装依赖 uv add langchain-tavilysearch_tool.invoke("钟山风景区在哪里？")#result 存储搜索结果 title 为提问 content为搜索到的内容 score 为相关度system_prompt = "你是一个智能助手，你使用工具来解决用户的问题"{"message":[HumanMessage(content = "钟山风景区在哪个城市?")]},
【 Godot 4 学习笔记】Blender到Godot4
最新发布
OSwich的博客
06-30 195
Blender 到 Godot 4 的工作流是独立游戏开发中最关键的资产管线之一。如果这里没搭好，后期改模型、调材质、修动画会让你痛不欲生。在 Godot 4.x 中，官方已经，全面转向原生标准。这是目前最稳、最高效的路径。
AI学习-阶段三-深度学习学习笔记
AI_Encyc的博客
06-27 427
定义一个用于分类的简单网络nn.Linear(4, 16), # 输入4个特征，隐藏层16个节点nn.ReLU(), # 激活函数nn.Linear(16, 3) # 隐藏层16个节点，输出3个类别神经网络就像一个多层过滤器，每一层都把数据变得更"抽象"、更有用，最后一层给出答案。图片大小 = 输入层节点数28×28 = 784 个像素 → 输入层有 784 个节点图片大小像素数特点28×28784MNIST 手写数字，简单任务够用224×22450,176。
学习《暗时间》
flin666的博客
06-29 215
学习方法
人工智能学习入门：从零开始掌握AI核心技能
weixin_45726784的博客
06-30 182
人工智能是计算机科学的一个分支，致力于创建能够模拟人类智能行为的系统。机器学习（Machine Learning）：让计算机通过数据自动学习和改进深度学习（Deep Learning）：基于神经网络的机器学习方法自然语言处理（NLP）：让计算机理解和生成人类语言计算机视觉（Computer Vision）：让计算机"看懂"图像和视频强化学习（Reinforcement Learning）：通过试错来优化决策✅打好基础：不要跳过数学和编程基础✅动手实践：代码量决定你的上限✅持续学习。
【脉宽调制DCDC功率变换学习笔记027】PWM变换器模型的一般化
be_you_devil的博客
06-26 227
本文研究了带寄生电阻的Buck变换器建模问题。在理想电压源供电情况下（1.1节），寄生电阻不影响基本方程，可后续加入小信号模型。对于带输入滤波器的Buck变换器（1.2节），输入滤波器会改变电压方程但保持电流方程不变。通过波形分析推导出滤波电容电压、阻尼电阻电压及交流电阻等关键参数的表达式（式9.2-9.10），指出输入滤波器会引入新的直流电压分量和交流电阻效应，需要重新建立电压方程。研究为含寄生元件变换器的精确建模提供了理论基础。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

VectorShift

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值