参数估计_在线百科全书查询
参数估计
在已知系统模型结构时，用系统的输入和输出数据计算系统模型参数的过程。18世纪末德国数学家C.F.高斯首先提出参数估计的方法，他用最小二乘法计算天体运行的轨道。20世纪60年代,随着电子计算机的普及,参数估计有了飞速的发展。参数估计有多种方法，有最小二乘法、极大似然法、极大验后法、最小风险法和极小化极大熵法等。在一定条件下，后面三个方法都与极大似然法相同。最基本的方法是最小二乘法和极大似然法。
基本介绍
参数估计（parameter estimation）是根据从总体中抽取的样本估计总体分布中包含的未知参数的方法。它是统计推断的一种基本形式，是数理统计学的一个重要分支，分为点估计和区间估计两部分。
标准特点
（1）无偏性
（2）一致性
（3）有效性
方法
矩估计法 用样本矩估计总体矩，如用样本均值估计总体均值。
最小二乘法 为了选出使得模型输出与系统输出yt尽可能接近的参数估计值，可用模型与系统输出的误差的平方和来度量接近程度。使误差平方和最小的参数值即为所求的估计值。
极大似然法 选择参数θ,使已知数据Y在某种意义下最可能出现。某种意义是指似然函数P(Y│θ)最大,这里P(Y│θ)是数据Y的概率分布函数。与最小二乘法不同的是，极大似然法需要已知这个概率分布函数P(Y│θ)。在实践中这是困难的，一般可假设P（Y│θ）是正态分布函数，这时极大似然估计与最小二乘估计相同。
性质
当估计值的数学期望等于参数真值时，参数估计就是无偏估计。当估计值是数据的线性函数时，参数估计就是线性估计。当估计值的均方差最小时，参数估计为一致最小均方误差估计。若线性估计又是一致最小均方误差估计，则称为最优线性无偏估计。如果无偏估计值的方差达到克拉默-尧不等式的下界,则称为有效估计值。若 ，则称 为一致性估计值。在一定条件下，最小二乘估计是最优线性无偏估计，它的估计值是有效估计，而且是一致性估计。极大似然估计在一定条件下渐近有效，而且是一致的。
寻求最小二乘估计和极大似然估计的常用方法是将准则对参数θ求导数，计算梯度，因而要使用最优化的方法:梯度法、变尺度法、单纯形搜索法、牛顿-拉夫森法等。
点估计
点估计是依据样本估计总体分布中所含的未知参数或未知参数的函数。通常它们是总体的某个特征值，如数学期望、方差和相关系数等。点估计问题就是要构造一个只依赖于样本的量，作为未知参数或未知参数的函数的估计值。例如，设一批产品的废品率为θ。为估计θ，从这批产品中随机地抽出n个作检查，以X记其中的废品个数，用X/n估计θ，这就是一个点估计。构造点估计常用的方法是：①矩估计法。用样本矩估计总体矩，如用样本均值估计总体均值。②最大似然估计法。于1912年由英国统计学家R.A.费希尔提出，利用样本分布密度构造似然函数来求出参数的最大似然估计。③最小二乘法。主要用于线性统计模型中的参数估计问题。④贝叶斯估计法。基于贝叶斯学派（见贝叶斯统计）的观点而提出的估计法。可以用来估计未知参数的估计量很多，于是产生了怎样选择一个优良估计量的问题。首先必须对优良性定出准则，这种准则是不唯一的，可以根据实际问题和理论研究的方便进行选择。优良性准则有两大类：一类是小样本准则，即在样本大小固定时的优良性准则；另一类是大样本准则，即在样本大小趋于无穷时的优良性准则。最重要的小样本优良性准则是无偏性及与此相关的一致最小方差无偏估计，其次有容许性准则，最小化最大准则，最优同变准则等。大样本优良性准则有相合性、最优渐近正态估计和渐近有效估计等。
区间估计
区间估计是依据抽取的样本，根据一定的正确度与精确度的要求，构造出适当的区间，作为总体分布的未知参数或参数的函数的真值所在范围的估计。例如人们常说的有百分之多少的把握保证某值在某个范围内，即是区间估计的最简单的应用。1934年统计学家J.奈曼创立了一种严格的区间估计理论。求置信区间常用的三种方法：①利用已知的抽样分布。②利用区间估计与假设检验的联系。③利用大样本理论。
递推参数估计
为了减少计算量，便于在线估计参数，产生了许多递推算法。一般是用递推算法估计动态系统的参数。方法是:利用时刻t上的参数估计 、存储向量xt与时刻t+1上的输入和输出数据ut+1和yt+1，计算新的参数值。每一步的计算时间比解一个线性代数方程组要少得多。
最小二乘法和极大似然法都有递推形式，另外还有递推广义最小二乘法、递推辅助变量法和递推增广最小二乘法等，都是递推最小二乘法的改进形式，
可以用来估计带有色噪声干扰的系统。此外，随机逼近算法、卡尔曼滤波法和朗道递推估计，是从不同的出发点得到的递推参数估计法（见递推估计算法），大多数递推参数估计算法的一致性,即,可以用鞅收敛性、常微分方程稳定性和超稳定性、正实性分别证明。
参数估计的方法很多，如何统一它们，如何在实践中简单有效地判断它们的性质以及产生新的方法，都是有待进一步探讨的问题。
参考书目
P.艾克霍夫著,潘科炎、张永光等译:《系统辨识──状态与系统参数估计》，科学出版社,北京，1980。(P.Eykhoff，System Identification：Parameter and State Estimation, Wiley, London, 1974.)
