26徐玉兵等:基于SVM的概率密度估计及分布估计算法第37卷

性原则。后来又产生对非参数估计具有稀疏性的支持向量机方法[4]。

对于ε我们也可以去取它的值,逼近精度ε越低则需要的支持向量的个数越少[5]。对一维情况的概率模型我们采用的核函数[5]为:

K(x,z)=k(x,z)=

2　支持向量机方法估计概率密度

2.1　概率密度的性质及构造

1+e-

t(x-z)

(10)

t(x-z)

由概率密度的定义[2]可知概率密度具有非负性和规范性,即概率密度p(x)需满足:

p(x)≥0且

2+e

t(x-z)

+e-

(11)

∫

-∞

+∞

p(x)dx=1(1)(2)

t为一常数,函数K是k的积分,经检验k(x,z)≥0

假设　(x1,y1),(x2,y2),…,(xl,yl)

且

∫k(x,z)dx=1。对概率密度是二维的情况

-∞

+∞

是取自概率密度p(x)未知的分布的一系列样本点

(xi可以是数或向量0≤yi≤1,若yi未知则通过构

我们采用的核函数是:

K(X,Xi)=k(X,Xi)=

造经验分布函数来获得[3])。我们构造一个概率密度函数

l

1+e

)-t(X1-X1i

1+e-

22t(X-Xi)

(12)

2+e

11t(X-Xi)

+e-

11t(X-Xi)

×

(13)

)=p(x,β

i=1

βik(x,xi)∑

[4]

(3)

对未知的概率密度p(x)进行回归估计,其中

k(x,xi)是核函数

l

2+et

(X2-X2)

i

+e-

2t(X-X)

。由于式(3)是概率密度,因此

k(,ikXi)=

根据概率密度的性质需要满足下面的条件:

i=1

k(x,x)dx=1。

-∞

i

+β∑

i

=1　i=1,…,l

(=(5)

2+e

dd

-Xi)

11t(X-Xi)

+e-

11t(X-Xi)

×…×

(14)

k(x,t)≥0且

()-∞

+2+e

t(X

d

d

-Xi)

+e-

t(X

t是以未知参数变量。用基于支持向量机的方

d为密度的维数。

法求解线性算子方程[4]:

Ap(x)=F(x

)

(6)

A是运算算子,对函数p(x)运算之后,得到F(x)。

2.3　概率密度仿真结果

一维概率密度的仿真结果:核函数中的t的值取1.85,从概率密度函数:

p(x)=0.2就是通过核函数和样本点式(2)对p(x)在像空间进行回归估计得到关于核函数的概率密度式(3)中

的βi的值。2.2　求解概率密度的数学模型

-e

π2

2

-+0.8e

π2

72

(15)

中采41个样本点,然后再用采样点构造一概率密度函数,使构造的概率密度函数的分布尽可能逼近实际概率密度的分布。实验

图1　测试密度与实际密度

在本文中我们采用ε不敏感损失函数

l

l

ii

l

[3,6]

的线

性SVM方法。进行回归估计,该问题等价于:

3

ξ,ξ)=min　F(

l

i=1

δβ+∑ξ+∑ξ∑

i=1

i=1

j

3

(7)

结果如图1,虚线表示

s.t　yj-l

i=1

βK(x∑

ij

ε+ξ,xi)≤j=1,2,…,lj　

3

实际概率密度函数,实

线表示构造的概率密度函数。从图上可以看出构造的概率密度与实际的概率密度非常接近。虚线表示实际密度,实线表示回归估计的概率密度。

下边二维正态分布N(0,1,0,1,0)的密度图像,及用支持向量机密度估计法对N(0,1,0,1,0)进行估计得到的密度图像(t=1.85,采样点为121个):

对混合分布0.4×N(0,1,0,1,0)+0.6×N(6,1,6,1,0)进行测试(t=1.65,采样点为180

i=1l

βK(x∑

i

ε+ξ,xi)-yj≤j=1,2,…,lj　

i=1

β=1∑

i

3

ξ　　0,ξ0,β0　j=1,2,…,lj≥j≥j≥

δ　　i=

l

l

j=1

∑‖xi-xj‖2

yi(1-yi)　i=1,2,…,l

l

(8)(9)

ε=min　　

个):