小波变换具有良好的时域和空域的局部化性能, 对信号具有很强的特征提取能力。小波包分解常被用于图像处理中, 它将图像分解为平滑部分、水平细节、垂直细节和对角细节四部分。针对分类问题, 如何在理论上给出小波包的最优分解方法一直是小波包在模式识别应用中所面临的关键问题。另一方面, 模糊理论被公认为是一种非常好的模式识别理论框架, 模糊分类算法将某一模式以一定的隶属度分配到每一类, 为解决小样本的识别问题提供了有效的理论工具。本文提出一种基于模糊隶属度的分类准则, 并以此寻找最优的小波包分解。
1 预备知识介绍
1.1 小波包分解
小波包分解是一个逐层分解的过程, 在每一层中父节点都被低通滤波器L和高通滤波器H分解为四个子节点, 即平滑部分、水平部分、高低细节和对角线细节[1]。一幅图像的WP分解可生成一个四叉树。假定g (j) 代表j层分解中原始图像的有效分解个数, 那么j+1层的分解数g (j+1) =g4 (j) +1, 且g (1) =2。当j=4时, 大约有4.87×1019个有效分解。可见, 从二维图像的小波包分解中找到最优小波包分解来实现模式识别是一件必要但又非常困难的工作。
1.2 特征提取模型
特征提取模型[2]的功能主要是实现降维, 它能够通过两步实现降维, 并找到主要的鉴别特征。设Sw为类间散度矩阵类, Sb为内散度矩阵。
第一步, 分解Sw:SwVw=VwГ, 且VwTVw=I, Г-1/2VwTSwVwГ-1/2=I, 其中Vw是Sw的特征向量和特征值矩阵, Г是Sw的特征矩阵, 它是一对角矩阵, 对角线元素是Sw的非零特征值。
第二步, 先变换Sb再分解:Г-1/2VwTSwVwГ-1/2=Kb, KbΘ=Θγ, 且ΘTΘ=I, 其中Θ、γ是Kb的特征向量和特征值矩阵。特征提取模型总的变换矩阵为:WEFM=VwГ-1/2Θ。
2 关键技术和算法流程
2.1 基于模糊隶属度的准则
根据模糊理论, 模式xk并非只属于某一类, 而是以不同的隶属度属于所有的类别[3]。令uik∈[0, 1]是模式xk属于第i类的隶属度, 那么按照经典模糊C均值 (FCM) 的隶属度函数表达形式, 计算uik的方法如下。
其中是i类的均值, Ai是属于i类的训练样本集的样本序列号, Ni是属于i类的训练样本个数, 是欧氏距离, c是类别数目。特殊情况下:当xk=vi时, uik=1;当xk=时, i≠j时, uik=0。
在此利用特征空间X上的所有已做标记的训练样本, 定义模糊准则F (X) 来评价特征空间X的分类能力:
对于N个训练样本, 有0
2.2 最优小波包分解中的特征选择
如果选择分类能力强的特征输入到特征提取模型, 可充分利用模糊准则对D*中小波特征的分类能力进行评价, 具体过程如下。
(1) 使用最优小波包分解D*对N幅图像进行分解, 生成具有类标识的一组向量Z={z, 1z2, LzN}。集合D*就是基于模糊准则的最优小波包分解, 它由一系列子空间构成, 其中的小波分解系数即是小波特征。
(2) 计算在特征j上模式zk属于i类的模糊隶属度, 即模糊隶属度uij (z kj) :
其中特殊情况下:当时, 当zkj=vmj, m≠i时, uij (z kj) =0。
(3) 再对D*中的特征根据它们的F (j) 值进行降序排列。如果F (j) 大则认为第j个特征的分类能力强, 从而选择F (j) 大的一组特征输入特征提取模型。
2.3 基于模糊准则的最优小波包分解
为更简明地描述四叉树的小波包分解, 这里利用单索引N (l) 的代替N (j, k) , l= (4 j-1) 3+k。在分解过程中, 将被分解的二维子空间N (l) 表示为一个向量。假定特征空间上的被标注的训练样本集为:X (l) ={x, 1x2L, xN}。经过归一化处理后, 利用式 (2) 计算该空间的模糊准则N (l) 。
基于模糊准则的最优小波包分解算法如下。
(1) 设定最大分解级数K, j=0, …, K, 计算四叉树中所有特征空间N (l) 的模糊准则函数F (N (l) ) 。
(2) 确定最优小波包分解D*。具体的选择过程如下。
(1) 对子空间N (l) , 根据它们的模糊准则F (N (l) ) 的大小, 进行降序排列, 生成一个集合S={N (l 1) , N (l 2) , L, N (l2k-1-1) }, 及一个空集合D*={φ}用来存储所选的子空间。
(2) 从S中移出第一个元素N (1l) , 并将它放入中D*, 即:S=S-N (j 1) , D*=D*+N (1j) 。
(3) 搜索S中的所有其他元素, 即∀N (k) ∈S, 如果N (k) 是N (1l) 的前辈和后代则将其移出集合S, 即S=S-N (k) 。
(4) 如果S中还有其他元素, 则转向 (2) 继续, 否则停止。
3 结语
本文提出一种基于模糊准则的小波特征选择方法。首先, 利用模糊准则得到最优小波包分解, 然后利用模糊准则对最优小波包分解中特征 (小波系数) 的分类能力进行评价并排序, 再选择鉴别能力强的特征并将他们输入到特征提取模型以实现降维。该方法是从分类的角度来解决模式识别问题, 它不只限于图像识别, 还可推广到其他信号的分类上。
摘要：本文所提出的基于模糊准则的小波特征选择方法, 从本质上来说是提取最优小波包分解中的小波系数作为特征。它利用模糊理论在模式识别中的固有优势, 同时结合小波包变换的时域和频域的局部化优点, 从高维数据中抽取出数目较少且鉴别能力强的特征, 并使用基于最小二乘误差的线性鉴别函数实现分类。
关键词：小波包,特征提取模型,特征选择,模糊集
参考文献
[1] 王爱玲, 叶明生, 邓秋香.图像处理技术与应用[M].北京:电子工业出版社, 2008.
[2] Liu C, Wechsler H.Gabor featurebased classification using the enhancedfisher linear discriminate model forface recognition[J].IEEE Transactionson Image Processing, 2002, 11 (4) :467～4 7 6.
[3] 张化光.复杂系统的模糊辨识与模糊自适应控制[M].沈阳:东北大学出版社, 1993.