参数估计-极大似然估计

本文为极大似然估计法的学习笔记。

极大似然估计法最早由高斯(C.F.Gauss)提出，后来被Fisher完善。极大似然估计的名称也是由Fisher给的。它是建立在极大似然估计原理基础上的一个统计方法，是实际中最常用、最重要的点估计方法之一。应用这种方法的前提是总体X的分布已知。

极大似然估计

一个直观的想法为“概率最大的事件最有可能出现”，例如某事件A发生的概率为p，p的取值只能为0.1或0.9，如果在一次试验中事件A发生了，则认为A发生的概率较大，即认为p=0.9是合理的。
假设导致事件A发生的原因有n个，分别记为，如果现在事件A发生了，记表示事件导致事件A发生的概率为。如果，则由导致事件A发生的的概率最大，则可推断事件A发生的原因为。
因此当试验中得到一个结果时，参数的哪个值使这个结果出现的概率最大，就应取这个值作为参数的估计值，这种思路成为极大似然原理。

离散型随机变量

设总体为离散型随机变量，其分布律为为待估计参数，为的样本，为样本的观察值，则样本的联合分布律

$$L(\theta)=P\{X_1=x_1,X_2=x_2,\cdots,X_n=x_n\}=\prod_{i=1}^np(x_i;\theta)$$

称为样本的似然函数。 当固定样本观察值时，在参数空间内，求一个使似然函数达到最大值的点，用作为的估计值，则“看起来最像”，称为的极大似然估计值；称为的极大似然估计量，简记为MLE(Maximum Likelihood Estimator)。

连续性随机变量

当为连续型随机变量时，其密度函数为为待估参数，为来自总体的样本，为样本的观察值，则样本落在点的邻域(边长为，，，的n维立方体)内的概率近似为

$$\prod_{i=1}^n f(x_i;\theta) dx_i = \prod_{i=1}^n f(x_i;\theta) dx_1 dx_2 \cdots dx_n$$

取的估计值使上式取到最大值，但因为，，，不随变化，故只考虑

$$L(\theta) = \prod_{i=1}^n f(x_i;\theta)$$

的最大值。称为样本的似然函数，若使

$$L(\hat \theta) = L(x_1, x_2, \cdots, x_n; \hat \theta) = \underset{\theta \in \Theta}{max}L(x_1, x_2, \cdots, x_n; \theta)$$

则称为的极大似然估计值，称为的极大似然估计量(MLE)。
求参数的极大似然估计，就是求似然函数的最大值点，当似然函数是的连续可微函数且最大值点是参数空间的内点时，可通过求

$$\frac{\partial L(\theta)}{\partial \theta_i} = 0, (i=1,2,\cdots,k)$$

的根，并通过验证确定为的最大值，这时我们称为的极大似然估计值。
由于与具有相同的最大值点，为了简化计算，也可以通过求解

$$\frac{\partial lnL(\theta)}{\partial \theta_i} = 0, (i=1,2,\cdots,k)$$

来确定的极大似然估计值，并称为对数似然函数。