经验贝叶斯方法

贝叶斯定理

贝叶斯方法

贝叶斯定理

贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理。其中P(A|B)是在B发生的情况下A发生的可能性。

在贝叶斯定理中，每个名词都有约定俗成的名称：

P(A)是A的先验概率或边缘概率。之所以称为"先验"是因为它不考虑任何B方面的因素。

P(A|B)是已知B发生后A的条件概率，也由于得自B的取值而被称作A的后验概率。

P(B|A)是已知A发生后B的条件概率，也由于得自A的取值而被称作B的后验概率。

P(B)是B的先验概率或边缘概率，也作标准化常量（normalized constant）.

按这些术语，Bayes定理可表述为：

后验概率 = (相似度*先验概率)/标准化常量

也就是说，后验概率与先验概率和相似度的乘积成正比。

另外，比例P(B|A)/P(B)也有时被称作标准相似度（standardised likelihood），Bayes定理可表述为：

后验概率 = 标准相似度*先验概率

贝叶斯方法

贝叶斯方法是贝叶斯定理的一种统计解释，利用它，甚至在先验 分布(a Priorj distribution)未知时，也可对不能观察的 参数作出推断

设(Y，X)为一随机向量.对随机参数X 的任何给定值X=x，Y的条件分布密度p伽}x)己知，若 在某一试验中仅能观察到Y取的值，而X的相应取值 未知，而需要估计未观察到的X的一个函数伞伏)

按此方法，条件数学期望E伸(x)}月=功(均应取 为中(x)之近似值，依Bayes公式(B ayes formula)，这 期望由公式 、Y)一坦丝半黔竺哩(;) q(Y) 在)，而只能得出此函数上下限的估计，它们是通过解出 下述线性规划问题而求得的:以沙，(Y)和盛(均分别 记(1)式分子中的线性泛函在线性约束P(x))认 知(x)d卜(x)=l和。(Y)二丁p(Ylx)p(x)d拼(x)=今(Y)之下 的最小和最大值(极值是对未知的先验分布p(x)来取)， 其中创Y)是前面提及的q(Y)估计量，由观察值y、，…， 矶作出.

在这个情况下可证明访，(Y)/4(Y)蕊价(均续 功2(Y)/场(Y)成立的概率趋于1，如果用于作估计量场(Y) 的随机变量丫的个数无限增加(据大数律(law of large numbers”.也可能作出经验Bayes方法的其他修 正—例如，在土述最后一条件仔(Y)二4(Y)之上附加 有限个形如q(y;)二母(只)的条件，其中只是起初给定的 数.若4用q的相应置信限来代替，则条件将有不等式 9.(共)簇q以)落q:以)的形式，等等. 在某些应用上重要的场合，可找到函数价;和价:的 适宜的优控函数，而不必通过费力的线性规划法(见样 本法(samPle method)中讨论统计控制的例子).

关于将经验Bayes方法用于涉及随机参数值的假 设的检验，参见判别分析(discriminant analysis). 给出，其中 、妙)=jP妙Ix沪(x)d风x)，仪) p(x)是X的无条件(先验)分布的密度，拜(x)是相应的 叮有限测度，而q砂)是Y的无条件分布的密度. 如果先验密度未知，则无法计算沙和q之值.但 是，若有为数充分多的，从具密度q印)的分布中抽出的 随机变量现实艺，…，X为已知，则可以构造出仅依赖于艺， …，长的相合估计4伽).C.H.反卿阴祀湘(【11)提出估计 沙(Y)的方法如下:以4伽)代(2)中的q伽)并求出此积 分方程的解户(x)，然后以户和4取代(l)式右边的p 和q.但这种方法很困难，因为求解积分方程(2)是一 在计算数学中难于处理的问题.

在某些特殊情况下，统计的方法不仅可用于估计q， 也可用于估计妙(见〔31).这是可能的，如果包含x和y 的恒等式 毋(x)P妙}x)=又妙)r【:妙)!x](3) 成立.在(3)中，又砂)和:妙)都是仅依赖于y的函数，而 r(z!x)作为z的函数是概率密度(即可视为某随机变量 Z在给定X=x时的条件密度).若(3)成立，则(l)式的 分子等于又(Y)s[:(y)]，其中s(z)=丁r(zlx)p(x)d拼(x) 为Z的无条件分布的密度.这样，如果有为数充分多的 具密度s(z)的独立随机变量现实21，…，虱，则可作出 s(z)的相合估计g(z)，从而也可以找到叭Y)的一个相合 估计价(Y): 侧泊、“”二云”=三过且炙以.(4) q(Y) 例如，设需要估计价(X)=X为，其中h为正整数，而 夕(夕Ix)=xye一今夕!伽=0，l，.二，x>0)，则职(x)p砂}x)二又伽) 夕伽+hlx)，其中又伽)=(夕+h)!/y!，因为在此有r(z ix)= P公}x)，得到s(z)二q(z).相应地有少(Y)=又旧创Y+h)/ 叔Y)，即在确定叭Y)时只需有艺，矶，…的值.

另一方 面，如果P伽}x)=b。伽lx)二C二x少(l一x)”一y伽=0，“’，”: 九为正整数:0落x(l，C二=(罗))，则价(x)p。}x)= 又(y)r妙+hlx)，其中又(y)二e言/e盖车交而r(ztx)= 气+、(z}x)笋P(ylx).由于这个原因，在本例中为作出 叭Y)需要两个序列试验值琴和zj 这个形式的经验Bayes方法只能用于一个很狭小 的族，其中密度P伽}x)和函数价(x)适合条件(3).但即 使这条件确实满足，估计量(4)的构造仍取决于随机变 量zj的可观察性，而通常zj的密度与艺的密度不同， 艺是直接观察到的为了实用的目的，更可取的是在一 种修改过的形式下使用经验Bayes方法，这时不存在 上述不便之处.