参数估计方法

极大似然估计(MLE,Maximum Likelihood)

  1. 模型确定,参数未知(参数是固定的未知值,而非随机数)

  2. $x_i$ 为iid样本(独立同分布)

  3. 使得样本出现概率(即似然函数)最大的参数最有可能是真实参数

即是求
$$\arg\max_\mu p(\mathbf{X};\mu)$$
其中:
$$p(\mathbf{x};\mu) = \prod_{i} p(x_i;\mu)$$
实际计算中,常常等价地处理对数似然函数。

最大后验估计(MAP,maximum a posteriori)

  • 参数具有先验概率$p(\mu)$

因此,问题转化为求给定观测值情况下使后验概率最大的$\mu$:
\begin{split} \hat{\mu_{MAP}} &= \arg\max_{\mu} p(\mu|\mathbf{X}) \newline
&= \arg\max_{\mu} \frac{p(\mathbf{X}|\mu)p(\mu)}{p(\mathbf{X})} \newline
&=\arg\max_{\mu} p(\mathbf{X}|\mu)p(\mu) \end{split}

MAP与Bayes估计 联系与区别

[TBC]