概率论参数估计

问题的提出:一、参数估计

参 数 估 计

总体X的估计有两类：

总体X的分布形式已知，未知的只是分布中的参数，要估计的 只是参数或参数的某一函数。二、非参数估计 总体X的分布形式未知，要估计的是总体的分布形式。

参数估计

点估计

区间估计

设总体X的分布函数为F(x, ), 未知， 的取值 范围称为 参 数空间 。记作 。现估计 。步骤如下：

从总体 X 中抽取样本(X1, X2, …, X n ) 构造合适的统计量 =T(X1, X2, …, X n )

估参 计数 量的估参 计数 值的

将样本观察值(x1, x2, …, x n )代入估计量 计算出估计量的观察值 =T(x1, x2, …, x n ) 或构造 1 = T1(X1, X2, …, X n )

和 2 =T2(X1, X2, …, X n ) ( 1< 2) 用区间( 1, 2 )作为 可能取值范围的估计

5.1

参数的点估计

构造点估计的估计量的具体方法有多种，在此，介绍两种方法。

一、矩估计法

矩估计法的思想是：用样本的各阶矩去估计总体相应的各阶矩， 而总体各阶矩都是总体分布中未知参数的函数，从而，通过估计 总体矩来达到估计总体分布中未知参数的目的。 设总体分布为F(x, 1, 2…… , k), i未知，样本(X1, X2, …, X n ) m 1 n m 来自总体 X,计算 EX Am X i n i 1 令 EX X 解未知量 1, 2…… , k EX 2 A2

EX Ak

k

称为参数 1, 2…… , k的矩估计量。

例1:设样本(X1, X2, …, X n )来自总体 X,且总体的均值 未知， 求 的矩估计量。 1 n 解： 令EX X EX , X X i n i 1 n 1 Xi X n i 1 总体 X 的均值 矩估计量为一阶样本原点矩 例2:设样本(X1, X2, …, X n )来自总体 X~N( , 2), 求 与 2 的矩估计量。 EX X 解： EX 2 A 2

EX EX 2 DX ( EX )2 2 2 X 2 2 A2

1 n Xi X n i 1

2 1 n 2 1 n A 2 X X i X ( X i X )2 B2 n i 1 n i 1 2 2

例3:设样本(X1, X2, …, X n )来自总体 X~P( ), 求 的矩估计量。 解：

令EX X

1 EX , X X i n i 1

n

1 n Xi X n i 1

一阶样本原点矩作为 的矩估计量 另一方面：EX2 = DX + (EX)2 = + 2 ,所以：

1 n 2 1 n 2 EX 2 X 2 X n i 1 n i 1 2 2 1 n 2 1 n A2 X X X ( X X )2 B2 n i 1 n i 1

此例说明：矩估计可以不唯一。 此时，一般取低阶矩得到的那一个。

例4:设样本(X1, X2, …, X n )来自总体 X,X服从[ 1, 2]上的 均匀分布，求 1和 2 的矩估计量。 解：这是两个参数的矩估计问题。 1 EX X 因 EX ( 1 2 ),DX 1 ( 2 1 )

2 12

EX 2 A 2

2

EX2 = DX + (EX)2

由

1 2 ( 1 2 ) X 1 1 ( 2 1 ) 2 [ ( 1 2 )]2 A 2 12 2 1 X - 3A 2 2 X 3A 2

解得

另见书例5.10、5.11

二、极大似然估计思想： 设总体分布(以离散型为例)为P(X=x)=F(x, 1, 2…… , k), ( 1, 2…… , k )∈Θ未知，样本(X1, X2, …, X n )来自总体 X, 则样本(X1, X2, …, X n )的概率分布函数为： n ni 1 i 1

L( x1 , x2 , , xn , 1 , 2 , , k ) P ( X i xi ) F ( xi , 1 , 2 , k )

进行一次具体的抽样之后， (X1, X2, …, X n ) 得到一组观察值 (x1, x2, …, x n )。 事件 X x , , X x }发生的概率为： {1 1 n

L( x1 , x2 , , xn , 1 , 2 , , k ) F ( xi , 1 , 2 , k )为( 1, 2…… , k )∈Θ的函数。因为(x1, x2, …, x n )在一次观察 中就出现了，应出现在概率最大的地方。即求函数i 1

n

n

L( 1 , 2 , , k ) F ( xi , 1 , 2 , k )取得最大值的最大值点，以此作为( 1, 2…… , k )的估计。i 1

n

固 定x1 , , xn , 挑 选 使 概 率 ( x1 , , xn ; ) L 达 到 最 大 的 参 数， 作 为 的 估 计 值 ， 即 取 使 得 ：

L( x1 , , xn ; ) max L( x1 , , xn ; ) 与x1 , , xn有关，记为 ( x1 , , xn ); 称其为参数 的 极大似然估计值 。

。 ( X 1 , , X n )称为参数 的 极大似然估计量

这种求未知参数 的方法称为极大似然法 。极大似然估计基本思想： 找出使样本观察值出现的概率为最大的参数值，将它作为未知参 数的估计值。

1、极大似然估计(离散型总体)若总体 属离散型，其分布列为 X

P{ X x } p( x ; 1 , 2 , , k ), ( 1 , 2 , , k ) 的形式为已知， 为待估参数，属于参数 。 空间

设 ( X 1 , , X n )是 来自总体 的样本, 求( 1 , 2 , , k )的极大似然估计量 X

(1 ) 建立似然函数 L( 1 , 2 , , k ) n i 1

p( x ; i 1 i

n

1

, 2 , , k )

( 2 ) 取对 数： L ln P ( xi , 1 , 2 , , k ); ln(3)令 ln L 0; 1 ln L 0; 2

( 4 ) 解 方 程 组 求 得1 , , k 的极大似然估计值。

ln L 0; k

X 例1: 设X ~ B( n , p );( X 1 , , X m )是 来 自 的 样 本， 参 数p( 0 p 1 )未 知 试求参数p的极大似然估计量

P X 解： 的分布律为： { X x } Cnx p x ( 1 p )n x故似然函数为

L( p ) C p ( 1 p )i 1 xi n xim i 1

m

n xim

( C nxi ) p i 1 ( 1 p )i 1m i 1

m

xi

m

nm

xii 1

m

,

x ln(

Cn i ) ( xi ) ln p ( nm xi ) ln( 1 p ). 而 lnL( p) i 1

令

d lnL( p) 0, dp

即

xi 1

m

i

p

nm xii 1

m

1 p

0.

1 m x p 解得p的极大似然估计值 xi n nm i 1 1 m X p的极大似然估计量为p Xi n nm i 1

X 例2: 设 …… 此处隐藏：4041字，全部文档内容请下载后查看。喜欢就下载吧 ……