Frequentists V.S. Bayesians

本文为机器学习(白板推导系列)P2学习笔记。

符号约定

$$X_{N \times p}=(x_{1},x_{2},\cdots,x_{N})^{T},\quad x_{i}=(x_{i1},x_{i2},\cdots,x_{ip})^{T}$$ $$x \sim p(x|\theta)$$

频率派

中为未知的常量，x为随机变量(r.v)。
对于N个观测来说观测集的概率为概率为

$$p(X|\theta) = \prod_{i=1}^{N}p(x{i}|\theta))$$

采用极大似然估计法(MLE)求出

$$\theta_{MLE} = \underset{\theta}{argmax}L(\theta)$$

频率派观点导出了一系列的统计机器学习模型。

贝叶斯派

中为满足某一先验分布的随机变量。借助贝叶斯定理，可以把参数的先验和后验用似然联系起来：

$$p(\theta|X) = \frac{p(X|\theta)p(\theta)}{p(X)} = \frac{p(X|\theta)p(\theta)}{\int\limits _{\theta}p(X|\theta) p(\theta)d\theta}$$

采用最大后验概率估计(MAP)求出

$$\theta_{MAP} = \underset{\theta}{argmax}\;p(X|\theta)p(\theta)$$

贝叶斯预测

已知样本,求新样本发生的概率

$$p(\widetilde{x}|X) = \int\limits _{\theta}p(\widetilde{x},\theta|X)d\theta = \int\limits _{\theta}p(\widetilde{x}|\theta)p(\theta|X)d\theta$$

贝叶斯派的观点发展出了概率图模型。

最大后验概率估计(MAP, maximum a posteriori)

在MAP中考量的是某一事件集已经发生，在该事件集发生的情况下，哪个出现的概率最大。也就是求解

$$\begin{aligned} \theta_{MAP} &= \underset{\theta}{argmax}\;p(\theta|X)\\ &= \underset{\theta}{argmax}\frac{p(X|\theta)p(\theta)}{p(X)}\\ &= \underset{\theta}{argmax}\;p(X|\theta)p(\theta) \end{aligned}$$