参数估计

最近在学习和实践传统的NLP领域的一些知识，这里面对概率和统计的知识点涉及得非常多，这里起个文章专门备份一下统计里面的参数估计的问题。

参数估计问题是统计学里面非常重要一个知识点，当变量成为随机变量时，许多重要的算法的求参过程实际上即是对该变量分布参数的一个估计过程，许多重要的算法都以参数估计为基础。

参数估计首先要假设样本服从某一分布簇。

参数估计的本质问题即：求解该分布簇的参数，使得在样本在该参数分布的情况下可能性最大。

极大似然估计 Maximum Likelihood Estimation:

\[ \theta= argmax: \sum\limits_{i=0}^{|X|} \log p(x_i|\theta)\ \]