极大似然法

设f(x,θ₁,θ₂，…，θ_r)为随机变量ξ的密度函数，其中θ₁,θ₂，…，θ_r为未知参数，构造θ₁,θ₂，…，θ_r的似然函数L(θ₁,θ₂，…，θ_r)，在使该似然函数极大的条件下估计未知参数θ₁,θ₂，…，θ_r的方法称为极大似然法。常被应用于测验分数统计中。

极大似然法

极大似然法是对总体参数θ作点估计的一个较好方法。 其优点是用它来求得的参数估计量常能满足一致性和有效性等要求，并且具有不变性。 不变性指当为θ的极大似然估计量时，则二者任何同一函数变换值，仍保持这种关系，比如lg 仍是lg θ的极大似然估计量。应用本法的前提是已知总体的分布，而未知其参数。对离散型分布，要已知概率函数p(X)；对连续型要已知密度函数f(X)。本法是以从总体中抽得现有样本的可能性为最大的这一原则来确定参数的估计值。这里的可能性为最大也就是似然函数L(θ)为极大。

式中X₁,X₂，…，Xn是含量为n的样本。未知参数可以是一个，如θ；也可以是k个，如θ₁,θ2，…，θ_k。
根据数学分析方法，当L(θ)的极大值存在时，将L(θ)对θ求一阶导数使之等于零，解得的能使L(θ)为极大的θ值，即，这样求的方法称为极大似然法。
例1 设一个含量为n的随机样本取自点二项分布的总体：
p(X)=πX(1-x)1-x,X=0、1,0≤π≤1。
求参数π的极大似然估计量。
按式(1)，得似然函数及其自然对数为
L(π) =π∑^Xi (1-π)ⁿ-∑^Xi,ln L(π)=∑Xilnπ+(n-∑Xi) ln(1-π)。
求上式的导数，并使之等于零，

解之，得π的极大似然估计量为

若总体的阳性率为π，当试验结果为阳性时，X=1；为阴性时，X=0。如果在n次试验中有k次为阳性，则∑Xi=k，于是＝k/n=p。 即π的估计量为样本率p。例2 设X服从正态分布N(μ,σ2)，求未知参数μ与σ2的极大似然估计量。
正态分布的密度函数为

设X₁ ,X₂，…，Xn为所得样本的观察值，按式(2)得似然函数及其自然对数为

令此导数为零，并解之：

这便是μ与σ²的极大似然估计量。根据它的不变性，得

极大似然法maximum-likelihood method

求未知参数点估计的方法。劳利1940年提出。尤洛斯格等人1967年提出一个较为实用的计算方法后得到广泛使用。基本思想是，设已知一随机试验有若干不同结果A,B,C，…，如果在一次具体试验中A发生了，则可认为当时条件最利于A发生，故应选择使A发生概率最大的分布的参数。具体过程就是构造一个以观测值和未知参数为自变量的似然函数，并通过极大化此似然函数，从而获得模型的参数估计。