《Hiding Among the Clones: 洗牌隐私放大的简单且近乎最优的分析》详解（二）

Feldman V, McMillan A, Talwar K. Hiding among the clones: A simple and nearly optimal analysis of privacy amplification by shuffling[C]//2021 IEEE 62nd Annual Symposium on Foundations of Computer Science (FOCS). IEEE, 2022: 954-964.

4 A Tighter Analysis for Specific Randomizers

本节通过分析特定类型的局部随机化器（例如 $k$-随机化响应 $k$-Randomized Response, 简称 $kRR$）来提出一种更强的隐私放大结果。核心定理 Theorem 4.1 提供了一种更通用的方法，可以证明在满足特定条件时，洗牌操作会带来更强的隐私放大。

以下是详细讲解 Theorem 4.1 的证明逻辑以及关键技术细节。

---

1. Theorem 4.1 的目标与核心结论

目标：证明一系列局部随机化器在满足某些额外性质时，洗牌模型中的隐私放大效果可以进一步提升。特别地：

• 假设输入数据集中仅一个元素 $x_1$ 在 $X_0$ 和 $X_1$ 中不同，其余元素完全相同。
• 分析洗牌后生成的分布是否满足更严格的 $(ϵ,\delta )$-差分隐私。

结论：如果局部随机化器满足特定的条件，洗牌后的隐私参数 $ϵ$ 满足：

$$ϵ\le \ln \left(1+q\cdot \left(4\cdot \frac{\sqrt{2\log (4/\delta )}}{\sqrt{pn}}+\frac{4}{pn}\right)\right),$$

其中：

• $p$ 和 $q$ 是根据局部随机化器的特性确定的参数；
• $p\ge \frac{8\ln (2/\delta )}{n}$ 确保 $p$ 不太小；
• $q$ 表示局部随机化器的一个混合系数（详见下面分析）。

该结果展示了通过引入 $p$ 和 $q$ 的约束条件，可以实现比 Theorem 3.1 更优的隐私放大效果。

---

2. 引理和分布分解的基本构造

(1) 进一步分解局部随机化器

类似于 Theorem 3.2 中的分析，局部随机化器的输出被分解为多个概率分布的混合：

1. 对于 $R(i)$，假设其输出分布满足：

$$R(i)(z_{1:i-1},x_1^b)=q\cdot Q_1^{(i)}(z_{1:i-1},x_1^b)+(1-q)\cdot Q_0^{(i)}(z_{1:i-1}),$$

其中：

• $Q_1^{(i)}$ 是由 $x_1^b$ 驱动的分布；
• $Q_0^{(i)}$ 是背景分布，与 $x_1$ 无关；
• $q\in (0,1)$ 是控制 $Q_1^{(i)}$ 权重的参数。

2. 对于 $x\ne x_1^0,x_1^1$，进一步分解 $R(i)(z_{1:i-1},x)$ 为：

$$R(i)(z_{1:i-1},x)=p\cdot Q_1^{(i)}(z_{1:i-1},x_1^0)+p\cdot Q_1^{(i)}(z_{1:i-1},x_1^1)+p\cdot Q_0^{(i)}(z_{1:i-1})+(1-3p)\cdot \text{LO}(z_{1:i-1},x),$$

其中：

• $p$ 是控制 $Q_1^{(i)}$ 和 $Q_0^{(i)}$ 在 $x\ne x_1$ 时的权重的参数；
• $\text{LO}$ 是一个剩余分布。

(2) 将洗牌后的分布表示为多项式分布

在洗牌模型中，多个局部随机化器的输出被随机排列，导致洗牌后的分布可以被表示为多项式分布：

• 对于数据点总数 $n-1$，假设分布为 $\text{MultNom}(n-1;p,p,p,1-3p)$；
• 每个数据点可能属于 $A,B,C,D$ 四个类别，其中：
  • $A,B,C$ 的概率均为 $p$；
  • $D$ 的概率为 $1-3p$。

另外，$\Gamma \sim \text{Bern}(q)$ 用来控制额外的扰动。

通过这些分布的构造，可以将洗牌后的分布 $\mathcal{P}$ 和 $\mathcal{Q}$ 分别表示为：

$$\mathcal{P}=\Phi (A+\Gamma ,B,C+1-\Gamma ),$$

$$\mathcal{Q}=\Phi (A,B+\Gamma ,C+1-\Gamma ),$$

其中 $\Phi$ 是一个后处理函数。

---

3. 隐私参数的计算

(1) 计算 $\mathcal{P}$ 和 $\mathcal{Q}$ 的散度

通过类似 Lemma 3.5 的分析方法，证明了 $\mathcal{P}$ 和 $\mathcal{Q}$ 的不可区分性。其关键是利用了：

1. $p$ 确保了分布的稀疏性；
2. $q$ 确保了隐私保护效果。

(2) 利用联合凸性优化结果

通过将 $\mathcal{P}$ 和 $\mathcal{Q}$ 的散度分解为简单分布（例如 $A,B,C$ 的多项式分布），并使用 hockey-stick divergence 的联合凸性，可以得到最终的隐私参数 $ϵ$ 的界限：

$$ϵ\le \ln \left(1+q\cdot \left(4\cdot \frac{\sqrt{2\log (4/\delta )}}{\sqrt{pn}}+\frac{4}{pn}\right)\right).$$

---

4. 优势和应用

(1) 比较 Theorem 3.1 的改进

• Theorem 4.1 的结果更精细，允许利用局部随机化器的特性（例如 $kRR$ 的特性）来提升隐私放大效果。
• 当 $q$ 和 $p$ 有特殊约束时，可以进一步减小 $ϵ$。

(2) $k$-随机化响应的应用

• 通过 $kRR$ 的特性（随着 $k$ 增大，隐私放大效果更显著），可以得到更优的洗牌隐私放大结果。

---

总结

Theorem 4.1 的证明通过：

1. 分解局部随机化器的输出；
2. 表示洗牌后的分布为多项式分布；
3. 利用联合凸性分析 $\mathcal{P}$ 和 $\mathcal{Q}$ 的差异。

其结果展示了通过引入额外条件，可以进一步改进洗牌模型中的隐私放大效果，为特定随机化器（如 $kRR$）提供了更紧的隐私界限。

4.1 k-Randomized Response

概述

在 $k$-随机化响应 ($kRR$) 中，每个用户的真实数据点 $x\in [k]$ 会以概率 $\frac{e^{{ϵ}_0}-1}{e^{{ϵ}_0}+k-1}$ 被保留，或者以概率 $\frac{k}{e^{{ϵ}_0}+k-1}$ 替换为从均匀分布 $U[k]$ 中采样的随机值。
Corollary 4.2 分析了 $kRR$ 在洗牌模型中隐私放大的效果，并展示了 $k$ 增大时的显著隐私提升。

---

1. $kRR$ 的定义与性质

(1) $kRR$ 的定义

对于 $k\in \mathbb{N}$ 和隐私参数 ${ϵ}_0>0$，$kRR$ 被定义为一个局部随机化器：

$$kRR(x)=\{\begin{array}{ll}x,& \text{以概率 }\frac{e^{{ϵ}_0}-1}{e^{{ϵ}_0}+k-1}\\ y\sim U[k],& \text{以概率 }\frac{k}{e^{{ϵ}_0}+k-1},\end{array}$$

其中：

• $U[k]$ 是定义在 $[k]$ 上的均匀分布；
• 输出可以是 $x$ 或均匀分布上的其他值。

(2) 分解 $kRR$ 的输出分布

对于任意 $x\in [k]$，$kRR(x)$ 的分布可以表示为以下两部分的加权混合：

$$kRR(x)=\frac{k}{e^{{ϵ}_0}+k-1}\cdot \nu +\frac{e^{{ϵ}_0}-1}{e^{{ϵ}_0}+k-1}\cdot 1_x,$$

其中：

• $\nu$ 表示均匀分布 $U[k]$；
• $1_x$ 是总是输出 $x$ 的分布。

这种分解有助于将 $kRR$ 的分析简化为多个分布之间的加权混合。

---

2. $kRR$ 的隐私分析

在洗牌模型中，每个局部随机化器 $R(i)$ 通过 $kRR$ 来处理输入数据点。洗牌操作 $As$ 将 $n$ 个随机化器的输出重新排列后提供给服务器。

(1) 构造 $R(i)$ 的分布分解

根据 Theorem 4.1 的分析，对于每个 $R(i)$，其输出分布 $R(i)(z_{1:i-1},x)$ 被分解为：

$$R(i)(z_{1:i-1},x_1^b)=q\cdot Q_1^{(i)}(z_{1:i-1},x_1^b)+(1-q)\cdot Q_0^{(i)}(z_{1:i-1}),$$

其中：

• $Q_1^{(i)}$ 表示依赖于数据点 $x_1^b$ 的分布；
• $Q_0^{(i)}$ 表示与 $x_1^b$ 无关的背景分布；
• $q=\frac{e^{{ϵ}_0}-1}{e^{{ϵ}_0}+1}$，用于控制 $Q_1^{(i)}$ 的权重。

通过洗牌后，$R(i)$ 的多次调用输出被随机排列为多项分布 $\text{MultNom}(n-1;p,p,p,1-3p)$。

(2) 隐私参数的计算

利用 Theorem 4.1 的结论，洗牌后的分布 $P$ 和 $Q$ 的不可区分性由以下隐私参数 $ϵ$ 控制：
Corollary 4.2 分析 $kRR$ 在洗牌模型中隐私放大的效果，假设 $R(i)$ 是一个基于 $kRR$ 的局部随机化器，则对于邻居数据集 $X_0,X_1$，洗牌模型的隐私参数 $ϵ$ 满足以下界限：

$$ϵ\le \ln \left(1+(e^{{ϵ}_0}-1)\cdot \left(4\cdot \frac{\sqrt{2(k+1)\log (4/\delta )}}{\sqrt{(e^{{ϵ}_0}+k-1)kn}}+\frac{4(k+1)}{kn}\right)\right),$$

当 $k$ 较小时，结果与 Theorem 3.1 一致；而当 $k$ 增大时，结果中的 $ϵ$ 会随 $k$ 的增加而显著优化。
在 Corollary 4.2 的推导中，$k+1$ 的出现是由于我们需要引入额外的调整因子，解释如下。同时，我们会详细补充化简公式中的每一步，特别是第 4 步的细节。

---

3. $kRR$ 中 $k$ 增大的影响

(1) 隐私放大的增强

随着 $k$ 增加，$kRR$ 的均匀分布成分 $\nu$ 的权重增加，使得洗牌后输出分布 $P$ 和 $Q$ 更难区分，从而进一步降低隐私参数 $ϵ$。
隐私放大的效果可以总结为：

• 当 $k$ 较小时，隐私参数 $ϵ$ 的缩减主要由 $e^{{ϵ}_0}$ 控制；
• 当 $k$ 增大时，分布的稀疏性 $p$ 增强，从而隐私放大的效果更显著。

(2) 实际意义

在实际场景中：

• $kRR$ 提供了一种简单但高效的局部随机化机制；
• 随着 $k$ 增大，可以减少每个数据点的隐私风险，同时维持良好的准确性。

---

4. 总结

Corollary 4.2 利用 Theorem 4.1 的隐私放大结果，对 $kRR$ 提供了更细致的分析。其主要结论是：

• 随着 $k$ 增大，洗牌模型中的隐私放大效果会显著增强；
• 当 $k$ 和 ${ϵ}_0$ 较大时，隐私参数 $ϵ$ 按 $\frac{e^{{ϵ}_0}}{\sqrt{kn}}$ 缩减。

这一结果不仅从理论上验证了 $kRR$ 的隐私优势，还为实际部署提供了优化方向。

5 Applications

5.1 Frequency and Distribution Estimation

这一部分讨论如何在洗牌模型（Shuffle Model）下，通过隐私放大（Privacy Amplification）设计一种高效的频率估计和分布估计算法，同时在隐私保护和效用（精度）之间达到接近最优的权衡。

问题背景

频率估计和分布估计的定义

• 频率估计（Frequency Estimation）：
  给定一个数据集 $X\in [k{]}^n$，目标是估计每个元素 $i\in [k]$ 的频率向量 $p(X)$：

p(X)i=1n∣{j∈[n]∣xj=i}∣, p(X)_i = \frac{1}{n} \left| \{ j \in [n] \mid x_j = i \} \right|, p(X)i​=n1​∣{j∈[n]∣xj​=i}∣,

即每个元素在数据集中出现的频率。

• 分布估计（Distribution Estimation）：
  给定一个分布 $p$，我们从中采样 $n$ 个独立同分布（i.i.d.）样本，目标是估计分布向量 $p$。
  • 评价指标是 ${\ell }_2$ 误差（均方误差）：

$$E[\Vert p-\hat{p}{\Vert }_2^2]\le {\alpha }^2,$$

其中 $\hat{p}$ 是算法的输出，期望值取决于算法和样本生成过程的随机性。

两者的关系

对于 $n$ 个样本，如果我们用频率估计器 $p(X)$ 估计分布向量 $p$，其误差为：

$$E_{X\sim p^n}[\Vert p-p(X){\Vert }_2^2]\le \frac{1}{n}.$$

因此，频率估计问题可以直接推广为分布估计问题，仅需额外的 $\frac{1}{\sqrt{n}}$ 的误差项。

相关工作

在本地差分隐私（Local Differential Privacy, LDP）模型中，已有许多算法能够解决频率和分布估计问题。主要研究目标是优化以下三方面：

1. 精度（Accuracy）：即最小化估计误差；
2. 通信成本（Communication）：减少用户发送的比特数；
3. 隐私参数 ${ϵ}_0$ 和效用的权衡。

• Acharya 等人在 [ASZ19] 中设计了一种效率高、通信量低的 ${ϵ}_0$-DP 算法，可以达到渐近最优的精度：

$$E[\Vert p(X)-\hat{p}{\Vert }_2^2]=O\left(\frac{1}{n}+\frac{k{e}^{{ϵ}_0}}{n(e^{{ϵ}_0}-1{)}^2}\right),$$

每个用户的通信成本为 $\log k+2$ 位。

• Feldman 和 Talwar 在 [FT21] 提出了一个改进算法，实现了相同的精度，但代价是服务器端解码时间较慢。

主要贡献

利用洗牌模型中的隐私放大效应，本文进一步改进了频率和分布估计的算法，使其满足以下特性：

1. 具有接近中心化模型的最优误差；
2. 保留较低的通信成本（$\log k+2$ 位）；
3. 满足洗牌模型下的 $(ϵ,\delta )$-差分隐私。

具体地，通过 Theorem 5.2，给出了频率估计问题的隐私与精度结果。

Theorem 5.2：主要结论

结论

存在一个 $(ϵ,\delta )$-DP 协议 $As$，其频率估计误差为：

$$E[\Vert p-\hat{p}{\Vert }_2^2]=O\left(\frac{k\log (1/\delta )}{(ϵn{)}^2}+\frac{1}{n}\right).$$

• 当 $n$ 较大时，误差的主要来源是 $\frac{k\log (1/\delta )}{(ϵn{)}^2}$，这与中心化模型中的最优误差相差仅 $O(\sqrt{\log (1/\delta )})$ 因子。

通信与计算成本

• 每个用户发送 $\log k+2$ 位消息；
• 服务器端解码时间为 $O(n+k)$。

---

证明过程

目标：证明对于任意相邻数据集 $X_0$ 和 $X_1$，算法 $As$ 的输出满足 $(ϵ,\delta )$-不可区分性。

步骤 1：隐私参数的设定

1. 设 ${ϵ}_0$ 为局部随机化器的隐私参数，取值为：

$${ϵ}_0=\{\begin{array}{ll}\frac{ϵ\sqrt{n}}{16\sqrt{\log (1/\delta )}}& \text{当 }ϵ\le \sqrt{\log (1/\delta )/n};\\ \log \left(\frac{{ϵ}^{2}n}{100\log (1/\delta )}\right)& \text{当 }ϵ\in \left(\sqrt{\log (1/\delta )/n},1\right).\end{array}$$
2. 根据 Theorem 3.1，在洗牌模型下，局部 ${ϵ}_0$-DP 随机化器的洗牌输出 $As$ 满足 $(ϵ,\delta )$-DP，其中：

$$ϵ=O\left(\frac{(1-e^{-{ϵ}_0})\sqrt{e^{{ϵ}_0}\log (1/\delta )}}{\sqrt{n}}+\frac{e^{{ϵ}_0}}{n}\right).$$

步骤 2：结合已有算法

1. 使用 [ASZ19] 中的局部随机化器 $A_{\text{LDP}}$，该随机化器具有以下误差：

$$E[\Vert p(X)-\hat{p}{\Vert }_2^2]=O\left(\frac{1}{n}+\frac{k{e}^{{ϵ}_0}}{n(e^{{ϵ}_0}-1{)}^2}\right).$$
2. 结合 ${ϵ}_0$ 的设定，将其代入误差公式，得到最终结果：

$$E[\Vert p-\hat{p}{\Vert }_2^2]=O\left(\frac{k\log (1/\delta )}{(ϵn{)}^2}+\frac{1}{n}\right).$$

总结

通过利用洗牌模型的隐私放大效应和现有的局部 DP 算法，本文设计了一种高效的频率估计算法，具有接近中心化模型的最优误差，并且保持了低通信成本和单轮交互。

5.2 Privacy Analysis of Private Stochastic Gradient Descent

这一部分讨论了如何利用隐私放大结果分析差分隐私的随机梯度下降（Differentially Private SGD, DPSGD）算法，尤其是对使用 无放回抽样 的 SGD 进行隐私分析。相比传统的有放回抽样，使用无放回抽样更高效且更贴近实际应用。

背景

经验风险最小化（ERM）与随机梯度下降（SGD）

1. 给定一个目标函数：

$$L(\theta )=\sum _{i=1}^n\ell (\theta ,x_i),$$

其中：

• $x_i$ 是第 $i$ 个数据点；
• $\ell (\theta ,x_i)$ 是损失函数；
• $\theta \in {\mathbb{R}}^d$ 是待优化的参数。

2. 梯度下降法：
   在每一步通过梯度更新：

$${\theta }_{t+1}={\theta }_t-{\eta }_t\cdot \nabla L({\theta }_t),$$

其中 ${\eta }_t$ 是学习率，$\nabla L({\theta }_t)$ 是目标函数的梯度。
3. 随机梯度下降（SGD）：
每次更新只用一个样本计算梯度：

$${\theta }_{t+1}={\theta }_t-{\eta }_t\cdot \nabla \ell ({\theta }_t,x_i),$$

$x_i$ 是从数据集中随机抽取的样本。

差分隐私的随机梯度下降

为了保证隐私，Bassily, Smith 和 Thakurta 等提出了一种基于差分隐私的 SGD【BST14】，主要特点是：

1. 梯度裁剪：
   将梯度投影到 ${\ell }_2$ 范围内，以限制梯度的敏感性：

$${\tilde{g}}_i=\frac{\nabla \ell (\theta ,x_i)}{\max (1,\Vert \nabla \ell (\theta ,x_i){\Vert }_2)}.$$
2. 添加噪声：
在每一步的梯度中加入零均值的各向同性高斯噪声：

$${\hat{g}}_i={\tilde{g}}_i+b_i,b_i\sim \mathcal{N}(0,{\sigma }^2{I}_d).$$

无放回抽样

• 无放回抽样是从数据集中按照随机顺序处理每个样本（例如打乱数据集顺序）。
• 本文的隐私放大结果使得 无放回抽样 的隐私分析与 有放回抽样 的结果相当。

Proposition 5.3: 隐私保证

主要结论

在满足 ${ϵ}_0\le \log \left(\frac{n}{16\log (2/\delta )}\right)$ 时，Algorithm 2 满足：

1. 隐私保证：

$$(ϵ,\delta +O(e^{ϵ}{\delta }_{0}n))\text{-DP},$$

其中 $ϵ$ 为：

$$ϵ=O\left((1-e^{-{ϵ}_0})\left(\sqrt{\frac{e^{{ϵ}_0}\log (1/\delta )}{n}}+\frac{e^{{ϵ}_0}}{n}\right)\right)。$$
2. 改进：

• 相较于 BST14 的有放回抽样分析结果：

$$ϵ=O\left(\sqrt{\log (1/\delta )}(e^{{ϵ}_0}-1)/\sqrt{n}\right),$$

本文方法在 ${ϵ}_0>1$ 时，隐私损失缩减了一个 $\Theta (\sqrt{e^{{ϵ}_0}})$ 的因子。

证明概述

关键思路

1. 每一步的更新过程可以视为一个局部随机化器 $R(i)$，该随机化器满足 $({ϵ}_0,{\delta }_0)$-DP。
2. 在无放回抽样的情况下，随机打乱数据集 $\pi (X)$ 后，整个过程等效于洗牌模型的隐私放大机制。
3. 根据 Theorem 3.8，可以推导出整个 SGD 过程的隐私保证。

证明步骤

1. 表示单步更新：
   将每次更新表达为局部随机化器 $R(i)(z_{1:i-1},x)$，其中：

$$R(i)(z_{1:i-1},x)={\hat{\theta }}_i={\hat{\theta }}_{i-1}(z_{1:i-1})-{\eta }_i(\nabla \ell ({\hat{\theta }}_{i-1}(z_{1:i-1}),x)+b_i)。$$

这是一个 $({ϵ}_0,{\delta }_0)$-DP 随机化器。
2. 利用洗牌模型放大隐私：

• 在洗牌模型下，Theorem 3.8 给出隐私放大的公式。
• 代入洗牌后的隐私参数，得出整个 SGD 的 $(ϵ,\delta )$-DP 隐私保证。

3. 分析改进：
   • 相较于 BST14 的分析，无放回抽样结合隐私放大效应使得 $ϵ$ 在 ${ϵ}_0>1$ 时更紧凑，减少了 $\Theta (\sqrt{e^{{ϵ}_0}})$ 因子。

比较与拓展

1. 与 BST14 的对比：
   • BST14 使用有放回抽样，隐私分析基于子抽样放大和高级组合规则，复杂性较高且效果不如本文的隐私放大结果。
2. 多次遍历数据的影响：
   • 多次遍历数据会引入额外的 $\sqrt{\log (1/\delta )}$ 因子，具体分析需要使用集中的差分隐私工具（如 [ACGMMTZ16]）。
3. 扩展到批量 SGD：
   本文的分析可直接推广到批量 SGD，将每个批次视为一个数据点，隐私分析结果仍然成立。

单次数据遍历的隐私分析改进

Proposition 5.3 与 [BST14] 的对比分析

1. [BST14] 的隐私保证
   • 场景：基于有放回抽样的差分隐私 SGD。
   • 隐私分析方法：
     • 依赖于 子抽样隐私放大 和 高级组合规则 来分析多轮采样的隐私损失。
     • 最终隐私保证为 $(ϵ,n\delta +{\delta }_0/n)$，其中 $ϵ$ 为：

$$ϵ=O\left(\sqrt{\log (1/\delta )n\log \left(1+\frac{e^{{ϵ}_0}-1}{n}\right)}+(e^{{ϵ}_0}-1)\log \left(1+\frac{e^{{ϵ}_0}-1}{n}\right)\right).$$
- 高 ${ϵ}_0$ 的近似简化：

$$ϵ\approx \sqrt{\log (1/\delta )}\cdot \frac{(e^{{ϵ}_0}-1)}{\sqrt{n}}.$$
2. Proposition 5.3 的隐私保证

• 场景：基于无放回抽样的差分隐私 SGD。
• 隐私分析方法：
  • 通过洗牌模型的隐私放大定理（Theorem 3.8）直接分析。
  • 最终隐私保证为 $(ϵ,\delta +O(e^{ϵ}{\delta }_{0}n))$，其中：

$$ϵ=O\left((1-e^{-{ϵ}_0})\left(\sqrt{\frac{e^{{ϵ}_0}\log (1/\delta )}{n}}+\frac{e^{{ϵ}_0}}{n}\right)\right).$$

• 高 ${ϵ}_0$ 的隐私改进：
  • 随着 ${ϵ}_0>1$，Proposition 5.3 的隐私损失更小，与 [BST14] 相比，改进因子为：

$$\Theta (\sqrt{e^{{ϵ}_0}})。$$

多次数据遍历的影响

1. 隐私损失的累积
   • 对于多次遍历数据，隐私损失会增加。
   • Proposition 5.3 的分析中，额外的 $\sqrt{\log (1/\delta )}$ 因子反映了隐私损失的累积。
2. 现有改进
   • [ACGMMTZ16, WBK21] 使用集中差分隐私（Concentrated Differential Privacy, CDP）优化了多次遍历的隐私损失，去掉了额外的 $\sqrt{\log (1/\delta )}$ 因子。

Proposition 5.3 的扩展

1. 批量 SGD
   • 将每个批次（batch）大小为 $b$ 的数据视为一个数据点，即将整个数据集表示为 $D^b$。
   • 对批量 SGD 的隐私分析仍然适用 Proposition 5.3 的框架。
2. 优化算法的通用性
   • 本文方法可作为 [BKMTT20] 中优化算法分析的基础，为更多差分隐私算法提供分析工具。

总结

• 主要优势：Proposition 5.3 在单次数据遍历场景下显著改善了隐私保证，尤其是在 ${ϵ}_0>1$ 时。
• 局限性：多次遍历数据时，隐私损失的额外增长仍然是一个挑战，但可以通过集中差分隐私进一步改进。
• 实际应用：本文方法不仅适用于单次数据遍历的 SGD，还可扩展到批量 SGD 和其他差分隐私优化算法。

本文在无放回抽样的私有 SGD 上，通过结合洗牌模型的隐私放大效果，提出了更紧凑的隐私分析框架。在 ${ϵ}_0>1$ 的高隐私损失场景下，显著提高了隐私效用的平衡，同时分析方法简单直接，适用于实际应用。