机器学习（四）高斯判别分析

高斯判别分析 GDA

多元高斯分布

正态分布$X\sim N(\mu ,{\sigma }^2)$，他的概率密度函数为，$\phi (x)$
$$\phi (x)=\frac{1}{\sigma \sqrt{2\pi }}{e}^{\frac{-(x-\mu {)}^2}{2{\sigma }^2}}$$

假设变量$X_i$之间相互独立且 $X_i\sim N({\mu }_i,{\sigma }_i^2)$

令$x=[x_1,x_2,...,x_n{]}^T;u=[{\mu }_1,{\mu }_2,...,{\mu }_n{]}^T;\sigma =[{\sigma }_1.{\sigma }_2,...,{\sigma }_n{]}^T$
则多元高斯分布的密度函数可以表示为：

对于上述指数部分，设

对其转换为矩阵表示形式

由Xi相互独立可知

所以多元高斯分布$X\sim N(\mu ,\sum )$的密度函数为

$$\begin{gathered} Mean向量\mu \in {\mathbb{R}}^n \\ 协方差矩阵\sum \\ 马氏距离r^2=(x-\mu {)}^T{\sum }^{-1}(x-\mu ) \end{gathered}$$
二元高斯分布

高斯判别分析模型

如果特征值x是连续v的随机变量，可以使用高斯判别分析模型完成特征值测分类。
假设特征值是二分类，结果服从0-1分布，（如果是多分类就服从二向分布）
模型：
$$\begin{gathered} y\sim Bernoulli(\varphi ) \\ x|y=0\sim N({\mu }_0,\sum ) \\ x|y=1\sim N({\mu }_1,\sum ) \end{gathered}$$

概率密度函数为：




模型待估计的参数为$\phi ,\sum ,{\mu }_0,{\mu }_1$,模型有两个不同的期望，有一个相同的协方差。
给定m个样本，该模型的极大似然函数的对数方程为：


解析解：

GDA 和logistic回归

GDA可以写成逻辑回归的形式，但是GDA有更严格的模型假设，设$p(x|y)$为高斯混合分布的。如果混合高斯模型假设是正确的正确的，那么GDA有更高的拟合度。
实践中，逻辑回归比使用GDA更加普遍。