超级会员免费看
线性分类模型中的贝叶斯逻辑回归及相关问题探讨
1. 后验分布的推导与高斯近似
在分类问题的线性模型中，我们考虑参数 (w) 的后验分布。假设 (m_0) 和 (S_0) 是固定的超参数，后验分布 (p(w|t)) 由下式给出：
[p(w|t) \propto p(w)p(t|w)]
其中 (t = (t_1, \ldots, t_N)^T)。对两边取对数，并代入先验分布（使用特定公式）和似然函数（使用特定公式），我们得到：
[\ln p(w|t) = -\frac{1}{2}(w - m_0)^T S_0^{-1}(w - m_0) + \sum_{n = 1}^{N} {t_n \ln y_n + (1 - t_n) \ln(1 - y_n)} + \text{const}]
这里 (y_n = \sigma(w^T \phi_n))，(\sigma(\cdot)) 是逻辑 sigmoid 函数。
为了得到后验分布的高斯近似，我们首先最大化后验分布以得到最大后验（MAP）解 (w_{MAP})，它定义了高斯分布的均值。协方差由负对数似然的二阶导数矩阵的逆给出，形式如下：
[S_N^{-1} = -\nabla\nabla\ln p(w|t) = S_0^{-1} + \sum_{n = 1}^{N} y_n(1 - y_n) \phi_n \phi_n^T]
因此，后验分布的高斯近似为：
[q(w) = \mathcal{N}(w|w_{MAP}, S_N)]
1.1 高斯近似的意义
高斯近似简化了后验分布的处理，使得后续的计算和分析更加方便。通过找到 MAP 解和协方差，我们可以用一
订阅专栏 解锁全文
扫一扫
270
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
