贝叶斯所有内容

贝叶斯统计简介

英国学者T.贝叶斯1763年在《论有关机遇问题的求解》中提出一种归纳推

理的理论，后被一些统计学者发展为一种系统的统计推断方法，称为贝叶斯方法。

采用这种方法作统计推断所得的全部结果，构成贝叶斯统计的内容。认为贝叶斯

方法是唯一合理的统计推断方法的统计学者，组成数理统计学中的贝叶斯学派，

其形成可追溯到 20世纪 30 年代。到50～60年代，已发展为一个有影响的学

派。时至今日，其影响日益扩大。

第一章 先验分布与后验分布

1、三种信息

一、总体信息

即总体分布或总体所属分布族给我们的信息。

二、样本信息

即从总体抽取的样本给我们提供的信息。

基于上述两种信息进行的统计推断被称为经典统计学，它的基本观点是把数

据（样本）看成是来自具有一定概率分布的总体，所研究的对象是这个总体而不

局限于数据本身。

三、先验信息

即在抽样之前有关统计问题的一些信息，一般来说，先验信息主要来源于经验和

历史资料。先验信息在日常生活和工作中也经常可见，不少人在自觉地使用它。

基于上述三种信息（总体信息、样本信息和先验信息）进行的统计推断被称

为贝叶斯统计学。它与经典统计学的主要差别在于是否利用先验信息。在使用样

本信息上也是有差异的。贝叶斯学派重视已出现的样本观察值，而对尚未发生的

样本观察值不予考虑，贝叶斯学派很重视先验信息的收集、挖掘和加工，使它数

量化，形成先验分布，参加到统计推断中来，以提高统计推断的质量。忽视先验

信息的利用，有时是一种浪费，有时还会导致不合理的结论。

贝叶斯学派的最基本的观点是：任一个未知量 都可看作一个随机变量，应

用一个概率分布去描述对 的未知状况。这个概率分布是在抽样前就有的关于

的先验信息的概率陈述。这个概率分布被称为先验分布。有时还简称为先验。

2.学生们根据自己的生活经历的积累对该事件（新教师的年龄在30岁到50

岁之间，极有可能在40岁左右）发生可能性所给出的信念（90%的把握），这样

给出的概率在贝叶斯统计中是允许的，并称为主观概率。

四、后验分布是三种信息的综合

一般来说，先验分布 ( )是反映人们在抽样前对 的认识，后验分布 ( ,x)

是反映人们在抽样后对 的认识。之前的差异是由于样本x 出现后人们对 认

识的一种调整。所以后验分布 ( ,x) 可以看作是人们用总体信息和样本信息（综

合为抽样信息）对先验分布 ( ) 作调整的结果。