OpenLVLM-MIA: A Controlled Benchmark Revealing the Limits of Membership Inference Attacks on Larg...

一、文章主要内容总结

该研究聚焦大型视觉语言模型（LVLMs）的成员推理攻击（MIA）评估问题，核心发现现有MIA研究的高攻击成功率多源于数据集构建中的分布偏差，而非真实成员身份检测。为此，研究者提出了OpenLVLM-MIA基准，包含6000张图像，通过严格平衡成员/非成员样本分布、提供明确的真实成员标签、支持多训练阶段独立评估，解决了现有基准的分布偏差和真实标签不确定问题。

实验表明，在该无偏基准下，当前最先进的MIA方法性能接近随机水平（AUROC≈0.5），实际应用中几乎无效（TPR@0.05FPR最高仅7.8%）。研究还揭示了LVLMs不同训练阶段（视觉编码器预训练、投影器训练、指令微调）对MIA性能的影响，并提出了MIA评估的标准化协议，为后续隐私保护技术研发提供了基础。

二、文章创新点

1. 提出无偏可控基准OpenLVLM-MIA：首次实现成员/非成员样本分布对齐，提供明确的真实成员标签，支持三个训练阶段的独立评估，解决了现有基准的核心缺陷。
2. 揭示现有MIA方法的局限性：通过实验证明，现有MIA的高成功率源于数据集分布偏差而非真实成员检测，在无偏设置下性能接近随机水平。
3. 提供完整的可复现资源：公开数据集、评估工具、训练模型和实验代码，保障研究可复现性，为社区提供统一的评估基础。
4. 建立MIA评估的标准化协议：提出“同源同期数据收集+视觉特征C2ST预测试+高偏差数据集重设计”的三步协议，规范