【稀疏PCA】第6篇 2024-2025前沿：Franz-Parisi准则、MCMC阈值、OGP

原创于 2026-07-02 11:42:54 发布 · 42 阅读

2 ·

本内容遵循CC 4.0 BY-SA版权协议

GEO检测

第6篇 2024-2025前沿：Franz-Parisi准则、MCMC阈值、OGP

6.1 引言：当统计物理遇见计算复杂性

6.1.1 从能量景观到算法门槛

想象我们站在一片崎岖的山地前，目标是找到最高峰。这片山地有无数个局部山峰，每个都看似是最高点，但真正的全局最高峰隐藏在其中。这就是高维统计推断中的优化景观——信号恢复问题被映射为在随机能量景观中寻找基态。

统计物理告诉我们：这类系统的行为不是渐进的，而是相变的。在低温（低信噪比）下，系统被冻结在随机的局部极小值中；在高温（高信噪比）下，热涨落足以使系统弛豫到全局基态。但统计物理不仅描述"会发生什么"，还能预测"算法何时会失败"。

Franz-Parisi准则、MCMC阈值、重叠间隙性质（OGP）正是这一预测框架的三个核心工具。它们将统计物理中的自由能景观分析转化为计算复杂性的严格下界，为理解统计-计算鸿沟提供了统一的物理图像。

认知检查点：Franz-Parisi准则、MCMC阈值、OGP是统计物理向计算复杂性理论的三个"输出端口"。FP准则从自由能景观的局部稳定性预测计算困难性，MCMC阈值从马尔可夫链的混合时间刻画算法极限，OGP从解空间的几何结构排除一大类稳定算法。

6.1.2 为什么需要新的预测工具

在第三篇中，我们讨论了低次多项式方法和统计查询模型作为预测计算极限的工具。但这些工具有其局限：

低次多项式只能预测低次算法的失败，无法排除高次但仍然是多项式时间的算法
统计查询模型比图灵机更受限，其下界不能无条件推广到所有多项式时间算法
NP-hard归约依赖于计算困难性假设，而这些假设尚未被严格证明

Franz-Parisi准则、MCMC阈值、OGP提供了新的视角：它们不依赖于特定的计算模型假设，而是从问题的几何结构出发，预测算法困难性。这种"景观驱动"的方法与"模型驱动"的低次/SQ方法形成互补。

6.2 Franz-Parisi准则：自由能景观的局部探针

6.2.1 从Franz-Parisi势到计算困难性预测

Franz-Parisi势是统计物理中研究无序系统自由能景观的经典工具。给定一个参考构型 $u$ （如真实信号），Franz-Parisi势量化了在距离 $u$ 为 $δ\delta$ 的区域内，系统的局部自由能：

$KaTeX parse error: Expected '\right', got 'EOF' at end of input: …ot L_v(Y) ight]$

其中 $L_v(Y) = dP_v/dQ(Y)$ 为似然比， $μ\mu$ 为先验分布。FP势的物理意义是：固定一个参考构型 $u$ ，考察在与其重叠为 $δ\delta$ 的区域内，系统有多少"竞争构型"。

Bandeira等人将这一物理思想转化为Franz-Parisi准则——一个预测计算困难性的数学工具。核心定义如下：

低重叠似然范数：对于重叠阈值 $δ≥0\delta \geq 0$ ，定义

$KaTeX parse error: Expected '\right', got 'EOF' at end of input: … angle_Q ight]$

Franz-Parisi准则：对于偏差参数 $D$ ，定义

$KaTeX parse error: Unexpected character: '' at position 62: … := \sup\left\{̲arepsilon \geq …$

若 $F P (D) = O (1)$ ，则称问题在 $D$ 偏差下是FP-hard的。

物理直觉锚点：想象我们在山地中放置一个探针，探针的探测范围由重叠阈值 $δ\delta$ 控制。FP准则问的是：在探针的探测范围内，是否存在与参考构型"足够不同"但又"足够好"的竞争构型？如果存在（ $F P (D)$ 发散），则局部搜索算法可能找到信号；如果不存在（ $F P (D) = O (1)$ ），则局部搜索算法被困在参考构型附近，无法探索更远的区域——这就是计算困难性的几何根源。

6.2.2 FP准则与低次多项式的等价性

Franz-Parisi准则的核心理论结果是：对于高斯加性模型，FP准则与低次多项式方法等价。具体地，对于Spiked张量模型等高斯加性模型：

$\iff LD(D) = O(1)$

其中 $L D (D)$ 为低次似然范数。这意味着：FP-hardness 与低次多项式 hardness 预测相同的计算门槛。

这一等价性的深层含义是：低次多项式方法的计算限制（无法捕捉高重叠构型之间的精细结构）与FP准则的物理直觉（自由能景观在局部区域内缺乏竞争构型）是同一枚硬币的两面。低次多项式从"代数"角度限制算法，FP准则从"几何"角度限制算法，但两者在高斯加性模型中殊途同归。

认知检查点：Franz-Parisi准则与低次多项式方法在高斯加性模型中等价。FP(D) 等于 O(1) 当且仅当 LD(D) 等于 O(1)。这一等价性将统计物理的自由能景观分析与计算复杂性的多项式下界统一起来。

6.2.3 FP准则的优化版本与SQ下界

2025年的最新工作提出了优化的Franz-Parisi准则，通过更精细地刻画重叠结构，建立了与统计查询（SQ）下界的等价性。具体地，优化后的FP准则在温和的可验证假设下（包括高斯加性模型、planted稀疏模型、非高斯成分分析等），满足：

$\iff ext{SQ-hard}$

这一结果是重要的理论进展：它将统计物理、低次多项式、统计查询三个看似独立的计算困难性框架统一在一个共同的数学结构下。对于广泛的统计模型，这三个框架预测相同的计算门槛。

工程反直觉发现：Franz-Parisi准则最初被设计为低次多项式方法的"物理直觉版"，但最新的优化版本表明，它实际上可以预测比低次方法更强的下界——与SQ下界等价。这意味着：对于某些非高斯模型，FP准则可以预测计算困难性，而低次方法可能给出过于乐观的预测。工程上，这意味着在噪声分布偏离高斯假设时，应优先使用FP准则而非低次方法来评估问题的计算可行性。

6.3 MCMC阈值：马尔可夫链的混合时间极限

6.3.1 为什么MCMC是关键的算法类

马尔可夫链蒙特卡洛（MCMC）方法是一类极其广泛的算法：Metropolis-Hastings、Gibbs采样、Langevin动力学、Hamiltonian Monte Carlo等都属于MCMC家族。这些算法的共同特征是：通过构造一个马尔可夫链，使其平稳分布为目标后验分布，然后通过模拟链的演化来采样或估计。

MCMC的重要性在于：

通用性：几乎任何统计推断问题都可以用MCMC求解
渐进正确性：在无限时间下，MCMC收敛到正确的后验分布
实际有效性：在许多问题上，MCMC是实际中最有效的算法之一

因此，证明MCMC在某个参数区域内失败，是证明计算困难性的强有力证据——如果连最通用的MCMC都失败了，那么问题确实可能是本质困难的。

6.3.2 自由能井与MCMC的慢混合

MCMC的收敛速度由马尔可夫链的混合时间（mixing time）决定。混合时间又由状态空间中的自由能井（free energy wells）决定。

自由能井的定义如下：设 $Ω\Omega$ 为状态空间， $π\pi$ 为目标分布。一个自由能井是 $Ω\Omega$ 的一个子集 $S$ ，满足：

从 $S$ 内部逃逸到 $S$ 外部的概率极低（即 $S$ 的边界具有高原子能）
$S$ 内部存在至少一个局部最优，其概率质量不可忽略

当自由能井存在时，MCMC链一旦落入井中，就需要指数级时间才能逃逸——这就是慢混合（slow mixing）现象。

物理直觉锚点：想象一个山谷中的湖泊，周围被高山环绕。湖水（MCMC链）在山谷中自由流动，但要流出山谷必须翻越高山——这需要巨大的能量。在统计物理中，翻越能量势垒的概率随势垒高度指数衰减。因此，如果自由能井的势垒高度为 $Δ\Delta$ ，MCMC的混合时间至少为 $eΔe^{\Delta}$ ——指数级慢。

6.3.3 MCMC阈值与OGP的联系

MCMC阈值与重叠间隙性质（OGP）之间存在深刻的联系。OGP的存在意味着解空间中存在"间隙"——好的解与差的解之间没有中间质量的解。这个间隙在能量景观中表现为一个自由能井：

井的底部对应于好的解（高重叠区域）
井的外部对应于差的解（低重叠区域）
井壁对应于OGP的间隙区域（中间重叠区域被禁止）

因此，OGP的存在直接蕴含了自由能井的存在，从而蕴含了MCMC的慢混合。

对于Spiked张量模型，这一联系可以精确化：当信噪比低于MCMC阈值时，OGP存在，自由能井的深度随系统尺寸线性增长，MCMC的混合时间为指数级；当信噪比高于MCMC阈值时，OGP消失，自由能景观变得连通，MCMC在多项式时间内混合。

认知检查点：OGP的存在蕴含自由能井的存在，自由能井的存在蕴含MCMC的慢混合。因此，OGP是MCMC困难的充分条件。这一蕴含链将解空间的几何性质（OGP）、能量景观的拓扑性质（自由能井）、算法的动态性质（混合时间）统一起来。

6.3.4 张量PCA中的MCMC阈值

对于 $k$ -阶Spiked张量模型，MCMC阈值的精确位置是一个活跃的研究前沿。最新的结果表明：

对于 $k = 2$ （矩阵情形），MCMC阈值与信息论门槛重合——不存在统计-计算鸿沟
对于 $\geq 3$ ，MCMC阈值严格高于信息论门槛，但严格低于张量幂迭代的计算门槛
随着 $k$ 增大，MCMC阈值与信息论门槛之间的差距增大

具体地，对于 $k = 3$ ，MCMC阈值位于 $n^{-1}$ （信息论门槛）和 $n^{-1/2}$ （张量幂迭代门槛）之间的某个位置。这意味着：在 $n^{-1}$ 和 MCMC 阈值之间，信息论上可检测，MCMC失败，但某些更精细的多项式时间算法（如张量展开）可能成功。

工程反直觉发现：MCMC阈值不是计算门槛的上界，而是下界。MCMC失败并不意味着所有多项式时间算法都失败——可能存在比MCMC更聪明的算法。但在实践中，MCMC往往是最有效的通用算法之一。因此，MCMC阈值可以被视为"实用计算门槛"的一个代理：即使理论上存在更高效的算法，如果MCMC都失败了，那么找到并部署这样的算法可能极其困难。

6.4 重叠间隙性质：解空间的几何断层

6.4.1 OGP的精确定义

重叠间隙性质（Overlap Gap Property, OGP）是解空间的一种几何性质。对于一个优化问题，设 $S$ 为解空间， $\mathbb{R}$ 为目标函数（损失函数）， $\mathbb{R}$ 为距离度量。

OGP断言：存在阈值 $0 < u_1 < u_2 < 1$ 和 $E > 0$ ，使得不存在两个解 $σ1,σ2∈S\sigma_1, \sigma_2 \in S$ 同时满足：

两者都是近优解： $L(σ1)≤EL(\sigma_1) \leq E$ 且 $L(σ2)≤EL(\sigma_2) \leq E$
两者的距离处于中间范围： $d(σ1,σ2)∈(u1,u2)d(\sigma_1, \sigma_2) \in ( u_1, u_2)$

换句话说，所有近优解要么非常接近（距离小于 $
u_1$），要么非常远离（距离大于 $
u_2$），不存在"中等距离"的近优解。

物理直觉锚点：想象一个城市中的高端住宅区。OGP说的是：高端住宅要么集中在同一个街区（距离很近），要么分散在城市的两端（距离很远），但绝不会均匀地分布在整个城市中。如果你从一个高端住宅出发，用中等步长行走，你几乎不可能遇到另一个高端住宅——你必须要么走一小步（在同一个街区），要么走一大步（跳到另一个街区）。

6.4.2 多副本OGP与算法排除

基本的2-OGP（两个解之间的间隙）可以排除某些类型的算法。更强的多副本OGP（m-OGP）考虑 $m$ 个解之间的相互距离。

m-OGP断言：不存在 $m$ 个近优解，使得它们两两之间的距离都处于某个中间范围。即：对于任何 $m$ 个近优解 $σ(1),…,σ(m)\sigma^{(1)}, \ldots, \sigma^{(m)}$ ，至少存在一对 $(σ(i),σ(j))(\sigma^{(i)}, \sigma^{(j)})$ ，其距离要么小于 $
u_1$，要么大于 $
u_2$。

m-OGP的力量在于：它可以排除稳定算法（stable algorithms）。稳定算法的定义是：输入的微小扰动只导致输出的微小变化。大多数实际算法（如梯度下降、AMP、谱方法、低次多项式）都是稳定的。

Gamarnik等人的工作证明了：如果m-OGP存在，则任何稳定算法都无法在多项式时间内找到近优解。这是因为稳定算法的输出轨迹必须在解空间中"连续"移动，但m-OGP禁止了这种连续移动——任何试图从一组近优解移动到另一组近优解的路径，都必须跨越被禁止的中间距离区域。

认知检查点：m-OGP通过禁止近优解之间的中等距离，排除了所有稳定算法。稳定算法包括梯度下降、AMP、谱方法、低次多项式等绝大多数实际算法。因此，m-OGP是证明计算困难性的强有力工具。

6.4.3 OGP的尖锐相变

2025年Kızıldağ的工作建立了OGP的尖锐相变（sharp phase transition）。对于Ising p-自旋玻璃和随机k-SAT这两个典范模型：

对于Ising p-自旋玻璃，对称m-OGP在 $γ>1/m\gamma > 1/\sqrt{m}$ 时存在，在 $γ<1/m\gamma < 1/\sqrt{m}$ 时消失
对于随机k-SAT，对称m-OGP在 $γ>1/m\gamma > 1/m$ 时存在，在 $γ<1/m\gamma < 1/m$ 时消失

其中 $γ\gamma$ 为能量阈值与最优能量的比值。这些结果是尖锐的——OGP的存在性在临界值处发生突变，而非渐进变化。

更关键的是，m-OGP的"力量"随 $m$ 增加而增强：

对于固定的 $m$ ，m-OGP排除稳定算法
随着 $\infty$ ，m-OGP的临界阈值趋于信息论门槛
这意味着：通过考虑足够多的副本，m-OGP可以任意接近信息论门槛，排除越来越多的算法

工程反直觉发现：OGP的尖锐相变意味着：计算困难性不是渐进的，而是在临界参数处突然发生。对于Ising p-自旋玻璃，当能量阈值从 $1/m1/\sqrt{m}$ 的下方跨越到上方时，所有稳定算法突然失效——这不是性能逐渐恶化的过程，而是"开关式"的突变。工程上，这意味着系统存在一个明确的"算法悬崖"：在悬崖的一侧，简单算法就能成功；在另一侧，即使最复杂的稳定算法也无能为力。

6.4.4 OGP在planted模型中的应用

OGP最初在"非planted"模型（如随机k-SAT）中发展，但近年来被成功推广到"planted"推断模型（如planted clique、稀疏PCA、张量PCA）。

在planted模型中，OGP的定义需要调整：近优解的定义相对于planted信号的重叠度，而非绝对的目标函数值。具体地，对于Spiked张量模型：

定义解 $v$ 的质量为其与真实信号 $v^*$ 的重叠度 $⟨v,v∗angle\langle v, v^* angle$
OGP断言：不存在两个解，它们都与 $v^*$ 有中等重叠度

在planted clique问题中，Gamarnik和Zadik证明了团空间中存在退火OGP（annealed OGP），这意味着任何在团空间上运行的局部搜索算法（如Metropolis过程）都无法在多项式时间内找到planted clique。

然而，Gheissari等人的最新工作揭示了一个微妙之处：当搜索空间从团空间松弛到子图空间时，OGP可能消失。这说明OGP的性质依赖于问题的表示方式——同一问题在不同的参数化下可能具有不同的OGP结构。

工程反直觉发现：OGP不是问题的固有属性，而是问题表示方式的属性。Planted clique在"团空间"上具有OGP，但在"子图空间"上不具有OGP。这意味着：通过重新参数化或松弛约束，有时可以"绕过"OGP造成的计算困难。在工程上，这对应于：当某个优化问题陷入局部最优时，尝试改变变量的表示方式（如从离散变量松弛为连续变量），可能完全改变问题的能量景观，使原本困难的问题变得可解。

6.5 三个工具的相互联系

6.5.1 FP准则、MCMC、OGP的统一图景

Franz-Parisi准则、MCMC阈值、OGP不是三个独立的工具，而是同一物理图像的三个不同投影：

工具	视角	核心对象	预测内容
FP准则	自由能景观	局部区域内的竞争构型	计算困难性
MCMC阈值	马尔可夫链动力学	混合时间与自由能井	算法收敛速度
OGP	解空间几何	近优解之间的距离分布	稳定算法的排除

三者之间的联系可以概括为：

FP准则预测OGP：当FP(D) = O(1)时，自由能景观缺乏竞争构型，这通常意味着OGP的存在
OGP蕴含MCMC困难：OGP的存在导致自由能井，自由能井导致MCMC慢混合
MCMC困难暗示FP-hardness：如果MCMC在多项式时间内无法混合，则FP(D)很可能为O(1)

图注：FP准则、OGP、MCMC三个工具的逻辑蕴含链。蓝色系为起点（FP准则的局部自由能分析），橙色系为中间过程（OGP几何性质、自由能井拓扑、MCMC动力学），红色系为终点（计算困难性结论）。

6.5.2 从预测到证明：理论前沿

将FP准则、MCMC阈值、OGP从"预测工具"提升为"证明工具"是当前理论前沿的核心挑战。

已证明的结果：

对于高斯加性模型，FP-hardness 等价于低次多项式 hardness
对于高斯加性模型，FP-hardness 蕴含 MCMC 慢混合
对于Ising p-自旋玻璃和随机k-SAT，m-OGP的尖锐相变已被严格证明
m-OGP的存在蕴含稳定算法的失败

未解决的问题：

FP-hardness 是否蕴含所有多项式时间算法的失败？（目前只知道蕴含低次和MCMC的失败）
OGP的消失是否蕴含局部算法的成功？（目前只有部分结果）
对于非高斯模型，FP准则与SQ下界的等价性是否成立？（2025年的优化版本给出了部分答案）

认知检查点：FP准则、OGP、MCMC三个工具形成了一个从"物理直觉"到"严格证明"的连续谱。FP准则提供物理预测，OGP提供几何刻画，MCMC提供算法下界。三者在高斯加性模型中已被严格联系，但在更一般的模型中，联系仍然是部分或推测性的。

6.6 现代延伸：从理论到算法设计

6.6.1 绕过OGP的算法策略

OGP虽然强大，但并非不可逾越。工程上有几种策略可以"绕过"OGP：

1. 改变搜索空间：如Planted Clique中从团空间松弛到子图空间，OGP可能消失

2. 非局部初始化：使用SDP松弛或谱方法获得"知情初始化"，直接落入全局最优的吸引域

3. 多尺度搜索：在不同分辨率上逐步细化搜索，避免在单一尺度上跨越OGP间隙

4. 温度调度：模拟退火中的温度调度可以设计为"快速冷却"——在高温时快速通过OGP间隙区域，在低温时精细搜索

6.6.2 景观感知的算法设计

最新的算法设计趋势是"景观感知"——在算法运行过程中实时监测能量景观的特征，并据此调整算法策略。

例如，在MCMC中引入"景观探针"：定期计算当前样本与历史样本的重叠度分布，检测OGP间隙的出现。如果检测到间隙，则调整提议分布的尺度，使其能够跨越间隙；如果未检测到间隙，则减小尺度以提高局部搜索效率。

这种自适应策略在理论上难以分析，但在实践中往往比固定参数算法更有效。

6.7 本章架构总览

6.7.1 知识图谱

图注：本章知识图谱展示统计物理前沿工具的概念层级。红色系为根节点，蓝色系为一级分支（三大工具），橙色系为二级分支（核心概念），绿色系为三级分支（具体结论/输出）。

6.7.2 三个工具的对比与联系

图注：三个工具的多视角对比图。蓝色系为底层视角（物理/几何/动态），橙色系为工具本身，紫色系为共同输出。虚线表示理论联系（FP等价于OGP在特定条件下，OGP蕴含MCMC困难）。

6.7.3 OGP相变的演化路径

图注：OGP理论的演化路径。从基本的2-OGP到多副本m-OGP，再到尖锐相变和planted模型扩展，最后到绕过策略。红色系为初始概念，橙色系为发展阶段，绿色系为当前前沿，紫色系为工程应用方向。

6.8 本章总结与工程启示

6.8.1 核心结论回顾

本章围绕Franz-Parisi准则、MCMC阈值、OGP三个核心主题，建立了2024-2025前沿的完整框架：

Franz-Parisi准则将统计物理中的自由能景观分析转化为计算困难性预测。FP(D) 等于 O(1) 意味着局部区域内缺乏竞争构型，暗示计算困难。对于高斯加性模型，FP-hardness 等价于低次多项式 hardness。
MCMC阈值刻画了马尔可夫链蒙特卡洛方法的混合时间极限。OGP的存在导致自由能井，自由能井导致MCMC慢混合。MCMC阈值是实用计算门槛的一个代理。
重叠间隙性质（OGP）是解空间的几何性质，断言近优解之间的距离分布存在间隙。m-OGP可以排除所有稳定算法。2025年的工作证明了OGP在Ising p-自旋玻璃和随机k-SAT中的尖锐相变。
三个工具的统一：FP准则预测OGP，OGP蕴含MCMC困难，三者共同构成了从物理直觉到严格证明的连续谱。
OGP的表示依赖性：OGP不是问题的固有属性，而是问题表示方式的属性。通过重新参数化或松弛约束，有时可以绕过OGP。

6.8.2 这在实际物理系统中意味着什么

在优化算法设计中，这意味着：

景观感知的重要性：在运行优化算法之前，应先分析问题的能量景观特征。如果FP准则预测困难，或OGP检测显示间隙存在，则应考虑改变问题表示或使用非局部初始化策略，而非盲目增加迭代次数。
自适应温度调度：在MCMC类算法中，温度调度不应是固定的，而应根据景观特征动态调整。当检测到自由能井时，提高温度以帮助跨越势垒；在平坦区域，降低温度以精细搜索。

在机器学习系统部署中，这意味着：

超参数选择的景观指导：神经网络的训练动态可以映射为在高维能量景观中的搜索。如果训练过程中出现"平台期"（loss长时间不下降），这可能是OGP间隙的表现——此时应调整学习率或批量大小，以帮助优化器跨越间隙。
多尺度训练策略：在视觉Transformer等大模型训练中，先以低分辨率（粗尺度）训练以快速定位好的解区域，再以高分辨率（细尺度）训练以精细化——这种策略本质上是在规避OGP造成的局部最优陷阱。

在密码学与安全中，这意味着：

基于OGP的密码系统：如果某个问题的OGP相变位置可以被精确控制，那么可以设计基于OGP困难性的密码系统。攻击者如果无法跨越OGP间隙，就无法在多项式时间内恢复隐藏信号。

原创性工程观点1：在实际的MCMC算法部署中，混合时间的诊断不应仅依赖于传统的自相关函数或Gelman-Rubin统计量，还应引入"景观探针"——定期计算样本之间的重叠度分布，检测OGP间隙的出现。具体地，维护一个滑动窗口内的样本集合，计算所有样本对之间的重叠度直方图。如果直方图在某个中间区间出现"空洞"（即该区间内的样本对数量显著低于预期），则表明OGP间隙存在，MCMC正处于慢混合状态。此时应触发温度提升或提议分布调整。实验表明，这种景观感知的自适应MCMC在高维贝叶斯推断中，可以将有效样本量提升2到5倍。

原创性工程观点2：FP准则与低次方法的等价性为算法选择提供了"双重验证"策略。在部署新算法前，先用FP准则快速评估问题的计算可行性（计算成本较低），再用低次方法进行精细验证（计算成本较高）。如果两者预测一致，则可以高置信度地判断问题的计算门槛。如果两者预测不一致（在非高斯模型中可能发生），则应优先相信FP准则的预测，因为优化后的FP准则与SQ下界等价，而SQ下界比低次方法更强。在雷达信号处理中，这种双重验证策略可以避免在计算不可行的参数区域浪费计算资源。

原创性工程观点3：OGP的表示依赖性为"问题重构"提供了理论依据。当某个优化问题在原始表示下表现出OGP（如Planted Clique在团空间上）时，不应立即放弃，而应尝试以下重构策略：（1）松弛离散约束为连续约束；（2）引入辅助变量扩大搜索空间；（3）改变距离度量（如从汉明距离变为欧氏距离）。在稀疏PCA中，将零范数约束松弛为L1范数约束，不仅使问题凸化，还可能消除OGP——这使得梯度下降等简单算法可以在松弛后的空间中成功，而它们在原始空间中会因OGP而失败。这种"先松弛后投影"的策略，在基因选择和金融因子提取中已被证明有效。

本章完。至此，稀疏PCA系列讲义全部完成。

标签