第 28 卷 第 12 期 2006 年 12 月 系统工程与电子技术 Systems Engineer ing and Electr onics Vol. 28 No. 12 Dec. 2006 文章编号: 1001-506X( 2006) 12- 1922- 05 基于局部方差的多分辨率图像分割方法 田 岩 1 , 谢玉波1 , 史文中3 , 彭复员1 , 柳 健1, 2 ( 1. 华中科技大学电子与信息工程系, 湖北 武汉 430074; 2. 华中科技大学图像信息处理与智能控制国家教育部重点实验室, 湖北 武汉 430074; 3. 香港理工大学土地测量及地理资讯学系地球资讯科技研究中心, 香港 999077) 摘 要: 针对复杂图像分割问题, 提出了一种基于图像局部方差的多分辨率图像分割方法。该方法首先引入 了一种像素映射的多分辨率模型, 此模型通过计算父子关系距离来确定父结点与子结点的链接, 实现映射; 在此 基础上, 从图像局部方差对图像分辨率的依赖性入手, 分别研究图像中目标区域与背景在不同分辨率下局部方差 的变化规律, 利用此规律通过计算不同分辨率下图像区域的局部方差的差值, 来放大目标与背景之间的差异, 在 将其平滑之后选用最大类间方差法( Ostu 法) 进行图像分割, 最后利用图像多分辨率模型下像素之间的精确映射 关系来得到对应于原始图像大小的分割结果。实验结果显示此方法具有良好的分割效果。 关键词: 图像分割; 多分辨率; 局部方差; 父子链接; 阈值 中图分类号: T P391 文献标识码: A Mult-i resolution image segmentation method based on local variance T IAN Yan1 , XIE Yu- bo 1 , SH I Wen- zhong 3 , PENG F u- y uan1 , L IU Jian1, 2 ( 1 . D ep t. of Electronics and I nf ormation Engineer ing, H uaz hong Univ. of S cience and Technology , W uhan 430074 , China; 2 . I ns t. of Patter n R ecognition & A I , H uaz hong Univ . of Science and T echnolog y , Wuhan 430074 , China; 3 . A dv anced Resear ch Centre f or Sp atial I nf or mation T echnology , D ep t. of L and Sur veying and Geo-I nf or matics, H ongkong Poly technic Univ . , H ongk ong 999077 , China) Abstract: An efficient im age segmentation m ethod for complexit y im age is present ed, w hich is developed based on t he evolution of local variance in m ult-i resolut ion images for different object s. Th e proposed m ethod f irst int roduces a m ult-i resolut ion model in w h ich pixels betw een diff erent resolut ions are linked by comput ing parent- child distance. T hen t he evolution of local variance across resolut ion is st udied. By count ing the residue of local variance of im age at different resolutions, the dist inction betw een object and back ground is amplif ied. A fter a blurring procedure, t he residue is segm ented w ith Ostu threshold met hod. Finally, the segm entat ion result of original im age is obtained th rough project ion w ith parent- child link. T he experiment al result s show the excellent performance of t he new m ethod. Key words: image segm entat ion; m ult-i resolut ion; local variance; parent- child link; th reshold 0 引 割成若干个类, 如最大类间方差法( Ostu ) [ 2] 、最大熵法[ 3] 言 等。聚类法是根据像素点的某种特性, 利用它们的相似程 图像分割是图像处理和机器视觉的一个重要研究内 容, 它是指根据图像的某些特性, 将图像划分成一系列互不 度来进 行分类, 常用 的聚 类方法 有 C- M ean、ISODATA、 相交的区域, 并提取出感兴趣目标的一种技术。常用的分 种相似规则将具有相似性质的像素集合起来构成区域从而 分割图像。近年来, 数学形态学、神经网络、模糊数学等理 [ 1] 割方法有阈值法、聚类法和区域生长法等 。阈值法一般 利用图像的某种特征如灰度、纹理、分形、局部方差等, 采用 FORGY 和 WISH 等[ 4] 。区域生长法从种子点出发根据某 论也被引入到图像分割中, 与以上的方法结合, 产生了众多 某种最优原则选择阈值将图像中的特征值在同一范围内的 的新算法, 如基于形态学的分水岭算法 、基于自组织神经 像素归属于同一类, 从而可以用一个或几个阈值将图像分 网络的聚类算法 、模糊 C 均值聚类算法[ 7] 等。但图像分 收稿日期: 2005 12 09; 修回日期: 2006 05 [ 5] [ 6] 22。 基金项目: 国家自然科学基金资助课题( 60572048; 60475024) 作者简介: 田岩( 1970 ) , 男, 副教授, 博士后, 主要研究方向为图像处理, 机器视觉, 非线性分析等。E-mail: xieyubo2000@ 126. com 第 12 期 1923 田岩等: 基于局部方差的多分辨率图像分割方法 割的本质问题尚未得到圆满解决, 至今未见一个通用而且 有效的分割方法能够满足不同目的的需要。 素。如设两结点 s 1 = ( 2, 0, 0) , s 2 = ( 1, 1, 1) , 则 s1 = s2 20 世纪 90 年代开始, 随着多分辨率图像处理理论的 发展, 在上述单一分辨率图像分割技术的基础上形成了多 分辨率图像分割方法。其基本着眼点是较大的物体能在 较低的分辨率下存在, 而噪声则不能, 从而得到低分辨率 下的分割结果, 典型的例子如文献[ 8 10] 所示。多分辨 率图像分割方法可大致分为空域和变换域两种, 空域方法 s2 { - 1 ( 1) ( 2) s1 } 因而除最高分辨率图像外, 其它各级分辨率图像上每 个像素的灰度都可以用公式表示为 1 I m = ( k, l) = [ -1 4 I m ( k, l) ] ( 3) 一般从初始图像用规则或不规则的方式逐步降低分辨率, 得到金字塔形的一个图像序列, 再在此基础上进行图像分 割, 如文献[ 8] 介绍了在不规则方格生成的多分辨率图像 序列上采用一种递归迭代计算方法将原始图像中的不同 细节部分在不同分辨率下划分成各个不同的区域来实现 图像分割的算法。变换域方法一般是将图像进行小波分 解以后, 在小波分解后进行分割 再进行反变换, 如文 献 [ 10] 详细介绍了一种小波域多分辨率分割方法, 通过小 波分解得到变换域的金字塔, 然后对变换域的低分辨率 图像采用分水岭法分割 并通过小波逆变换得到原 始分 辨率的分割结果。 本文拟从一个全新的视点, 即利用图像局部方差与分 辨率的关系来探求图像分割问题, 这是以往基于多分辨率 分析的分割方法所没有考虑的( 如基于小波变换的分割方 法) 。首先引入一种像素映射多分辨率模型, 在此基础上, 分析目标局部方差在不同分辨率下的变化规律, 得到目标 局部方差- 分辨率特性曲线, 并将其应用于图像分割。该 方法的核心思想是利用不同地物在不同分辨率的局部方差 变化规律不同来分割图像。通过求取不同分辨率下图像局 部方差的差异, 得到的图像进而采用 Ostu 方法来对图像进 行分割, 然后对分割的结果利用不同分辨率之间像素映射 关系来实现对原始图像的精确分割。 1 图像的多分辨率模型 图1 1. 1 图像金字塔 1. 2 图像的多分辨率模型 不同分辨率图像的映射模型 以多分辨率来解释图像的一种有效但概念简单的结构 从上面的叙述可以看到, 已知高分辨率图像获取各级 就是图像金字塔。一般情况下, 一个图像金字塔的数学可 表述如下[ 1] : 图像序列 I 0 , I 1 , , I L , 其中 I 0 和 I L 分别对应 低分辨率图像是比较自然的, 然而一个相反的问题是已知 于最高和最低分辨率的图像。低分辨率图像可由高一级的 是一个简单的问题, 而这一问题的解决关系到在低分辨率 分辨率图像得到。若 I 0 的分辨率为 M 1 下进行分割、 分类、 目标识别等之后如何得到高分辨率图像 - m N 2 , 则 I m 的分辨率为 2 M 1 - m M2 , 其大小为 N 1 - m 2 M 2 , 图像大小为 2 N1 - m 2 N 2 。Im 中的像素点( k, l ) 的值可通过对 I 0 中与像素点 m m ( k, l) 对应的大小为 2 2 的区域内所有像素点的值求和后 平均得到。I m 中的每一个像素点对应于I m- 1 中的四个像素 点, 如图 1( a) 所示。每个结点 s 用一个三元组( m, k, l ) 表 示。其中 m 表 示尺度, ( k, l) 表示 该点在 I m 中的位 置, I m ( k, l) 即表示 I m 在( k, l) 处的灰度级。 上述概念可用如下的数学语言描述: 定义上移算子 , s , 可以表示结点 s 在邻近一级低分辨率中对应的像素, - 1 s 表示结点 s 在邻近一级高分辨率图像中对应的像 低一级分辨率的图像, 如何得到高一级分辨率的图像并不 中的相应结果。 下面将提出一种不同分辨率图像的映射方法。 考虑两个相邻的分辨率图像 I m 和 I m+ 1 , 其中 I m 为高 分辨率图像, I m+ 1 为 I m 通过 1. 1 节中的多分辨率模型得到 的低分辨率图像, 为了实现它们之间的映射, 需要为 Im 中 的每一个像素在 I m+ 1 中寻找一个父链接。以 I m 中像素 I m ( x 0 , y 0 ) 为例, 将其坐标通过双线性映射得到下一级图像 中的某一点 I m+ 1 ( x 1 , y 1 ) , 其中 x 1 , y 1 可能为小数, 而 x 0 , y 0 都为整数。以两个像素距离为半径作为其父结点的搜索区 1924 系统工程与电子技术 域 ,则 = { I m+ 1 ( x, y) | ( x 1 - x ) 2 + ( y 1 - y) 2 在区域 2} ( 4) 内, 定义父子距离如下。 第 28 卷 部方差比较小; 当目标的尺寸大小和图像空间分辨率相当 时, 每个像素点的值都不相同, 相关性也减弱, 故局部方差 增加; 然而, 随着空间分辨率变得更低, 更多的目标将被包 D = | I m+ 1 ( x 1 , y 1 ) - I m+ 1 ( x, y) | , I m+ 1 ( x, y) ( 5) 当 D 最小时, 对应的点 I m+ 1 ( x , y) 为 I m ( x 0 , y 0 ) 的父结点。 含在一个像素点中, 局部方差开始变小。因而可以得到图 2 所示的关系曲线, 关于该问题的具体阐述, 可参见文献 如果同时存在多个点与子结点 I m ( x 0 , y 0 ) 的 D 最小, 则任 [ 11] 。 选一个。 由上可知, 每一个子结点都可以在找到一个父结点, 而 一个父结点则可能有多个子结点, 也可能没有子结点。利 用上述方法寻求的父子( parent- child) 关系可用图 1( b) 来 表示。这里注意 D 原则上亦可选择其它的距离定义形式。 在此基础上定义父亲算子 , 则 s 就可以表示结点s - 1 在邻近一级低分辨率中对应的父结点, s 表示结点 s 在邻近一级高分辨率图像中对应的子结点。 2 图2 图像局部方差与分辨率的关系 图像局部方差- 分辨率特性曲线 下面将给出该理论的实验分析, 首先利用第 1. 1 节中 的多分辨率模型来构建不同分辨率图像, 其次分析不同地 局部方差与分辨率是图像的两个重要特征, 而对于二 物在不同分辨率下局部方差的变化情况。图 3 ( a) 、( b) 、 者之间的关系则鲜有关注, 目前为止, 仅在文献[ 11] 中找到 对于局部方差和分辨率关系的描述: 当图像的空间分辨率 相对目标的尺寸大小而言比较小时( 即此时空间分辨率很 高) , 图像中各点的灰度值都和它的邻域高度相关, 因而局 图3 对图 3 中的三组图像( 原始图像大小均为 512 的多分辨率图像序列分别如图 3( a) 图 3( b ) 及图 3( c) 所示 ( 这里对每幅图像仅给出 3 级图像金字塔) 。 三类地物的图像金字塔 512 bits) , 分析其在不同分辨率下的局部方差, 所得的局部方差 - 分辨率特性曲线如图 4 所示, 其中横坐标用 2 的指数表 图4 ( c) 是截取一幅火山遥感图像中的 3 幅子图( 分别对应天 空、烟囱、岩石) , 这里关注的目标是岩石。按照式( 3) , 得到 示图像的大小( 如 512 512, 因 512= 29 , 表示为 9) , 纵坐标 表示图像的局部方差均值。 三类地物的局部方差- 分辨率特性曲线 从图 4 ( a) 、( b) 、 ( c) 可以看出随着分辨率的提高, 天空 与烟囱的局部方差都随之而变小, 而岩石的局部方差刚开 始时随分辨率增加而变大, 当到达某一峰值后随着分辨率 的增加而变小, 这与图 2 的曲线基本吻合。由于感兴趣区 域岩石的局部方差变化趋势与背景( 天空和烟) 并不相同, 这样当分辨率变化时, 不同地物对应的局部方差差值也不 相同, 并且在某一分辨率下达到最大, 因此可以利用图像局 部方差的这种规律来进行图像分割。 3 基于局部方差- 分辨率特性的图像分割 在上述多分辨率模型和图像局部方差与分辨率分析的 基础上, 本节提出一种基于局部方差- 分辨率特性的图像 分割方法, 该方法的大意是: 利用上一节得到的多分辨率图 像, 分别对原图像 I 0 和与其最近一级低分辨率图像 I 1 求取 第 12 期 田岩等: 基于局部方差的多分辨率图像分割方法 局部方差, 然后对两个不同分辨率图像得到的局部方差图 像进行相减, 对差值图像采用一种迭代阈值方法分割, 就可 以得到低分辨率下的分割结果, 然后通过多分辨率映射模 型来得到高分辨率下的分割结果, 注意这里仅利用了图像 金字塔的最高两层子图像。 根据上述思想, 首先是获取 I 0 和 I 1 的局部方差图像, 我们对 I 0 和 I 1 按 3 3 区域计算局部方差, 可得到对应的 局部方差图像 V 0 和 V 1 : i+ 1 V 0 ( i, j ) = j+ 1 1 1 [ I 0 ( k, l) 9 k= i- 1 l= j- 1 9 i+ 1 , 2m ] , j [ 1, i+ 1 2 V 1 ( i, j ) = 1 1 [ I 1 ( k, l) 9 k= i- 1 l= j- 1 9 i+ 1 j+ 1 I 1 ( w , s) ] [ 1, , 2 m- 1 ] , j [ 1, , 2 n- 1 ] 。 由于要将两幅图像的局部方差图作差, 因而需要将它 们映射到同一分辨率下, 我们将高分辨率图像 I 0 对应的局 部方差图像 V 0 利用第 1 节的多分辨率模型来降分辨率, 得 到 V= ( V i, j ) , 其分辨率与 V 1 同样大小。 V( i, j ) = 1 4 V 1 ( i, j ) -1 ( 8) 差图像 V 0 、 V 1; 步骤 3 利用式( 9) 求取 V 0 的低分辨率图像 V; 步骤 4 求取差值 Q= V - V 1 ; 得到分割结果 Q ; 步骤 7 对分割的结果 Q 按式( 11) 进行映射, 就可以 在算法中, 并不仅局限于相邻近的两个分辨率, 从不同 地物的局部方差多分辨率分析可以知道, 当分辨率变小时, 差异会变大, 当到达某个分辨率是将达到极大值。因而可 以找出最佳分辨率或是在更低的分辨率上做, 但是当分辨 率太低时, 分割结果向高分辨率映射时可能会增大误差, 而 降低精度。 4 实验分析 一组实验中原始图像来自于第 2 节中分析的火山遥感图 1 [ V 1 ( 2i - 1, 2j - 1) + V 1 ( 2i, 2j - 1) + 4 V 1 ( 2i - 1, 2j ) + V 1 ( 2i, 2j ) ] m- 1 步骤 2 分别利用式( 6) 、( 7) 对图像 I 0 、I 1 求取局部方 为验证本文算法的有效性, 下面将给出三组实验。第 即 V( i, j ) = n- 1 得到原图像对应的图像分割结果 H 。 2 w= i- 1s= j - 1 ( 7) 式中: i 2 步骤 6 在对 Q1 进行量化之后, 利用 Ostu 方法分割, , 2n ] 。 [ 1, j+ 1 m- 1 步骤 1 将原图像 I 0 按式( 3) 求取大小为 2 的图像 I 1 ; w= i- 1s= j - 1 ( 6) 式中: i n 2 , m, n N ) 。 步骤 5 将 Q 利用一个 3 3 的平滑模板进行平滑, 得 到 Q 1; j+ 1 I 0 ( w , s) ] m 2 1925 ( 9) n- 1 式中: i [ 1, , 2 ] , j [ 1, , 2 ] 。 将式( 7) 、式( 9) 所得的结果进行相减, 就可以得到残差 图像 Q 像, 其中包含三类地物: 天空、烟囱、岩石。实验的目的是将 岩石分割出来。第二组实验数据为一常见的林地遥感图 像, 其中含有四类地物: 树林、草地、水面、道路, 我们的目的 是将树林提取出来。第三组实验数据来自标准图库 baboon。 在该类图像中, 由于背景、目标的灰度级非常接近以及背景 ( 10) 和目标的多样性, 较难用常见的图像分割方法来进行分割。 由第 2 节中对不同分辨率下局部方差的变化规律的分 图 5 ( a) 为所要进行分割的图像。图 5 中的烟囱与岩 石的颜色非常接近, 利用常用的灰度分割, 显然是得不到正 Q = V- V1 析结果可知, 随着分辨率的减小, 烟囱与天空背景的局部方 差变化都很缓慢, 且都随之变小, 这样将在残差图像中表现 出较小的差异; 而岩石的局部方差先是随着分辨率的增加 而变大, 在到达某一极大值后开始一直变小, 相对烟囱与天 空背景在不同分辨率下变化要急剧得多。于是利用 Ost u 方法能够很容易地将目标区域分割出来, 令分割结果为 Q , 则 Q 的大小为 2m- 1 2n- 1 。 确的分割结果的。图 5( a) 中树林与水面、草地的灰度很接 近而且树林具有较强的不规则性, 图 5( a) 中狒狒的面部和 头部的其它部分灰度很接近, 如果利用单纯的纹理分割, 也 很难得到期望的结果。这里的对比实验采取的方法是经典 的 Ostu 算法、最大熵法和直接采用局部方差选取阈值分割 的方法。得到的分割结果如图 5 所示。 在分割之前, 为了去除某些干扰点, 对 Q 进行一个平滑操 对于第一组数据, 可以看到, 不管是 Ostu 算法、 最大熵 作, 即利用一个 3 3 或 5 5 的平滑模板对图像进行平滑。 为了得到对应图像原始分辨率的分割结果, 需要将已 法还是局部方差法都产生了严重的误分割, 原本是烟的区域 也被分割成地表, 而本文方法则没有发生这种错误现象, 能 得到的分割结果 Q 通过某种规则进行映射。利用 1. 2 节中 够比较好的分割出目标区域。对第二组数据, Ostu 方法、 最 的多分辨率映射模型得到的 parent- child 链接关系, 可以将 Q 通过下式进行映射, 设映射后得到的图像为 H , 则 大熵法完全失效; 局部方差法也存在一定程度上的误分割, 这是由于目标与背景灰度相异很小和局部方差并不能作为 H ( i, j ) = 式中: H 0, H ( i, j ) = 0 1, 其它 原始分辨率图像 I 0 对应的分割结果。 ( 11) 综上所述, 本文图像分割方法的具体实现步骤可归纳 如下( 为简洁起见, 在以下步骤中, 设原始图像 I 0 的大小为 特征将目标完全表征出来, 而本文方法能得到比较好的效 果。对于第三组实验结果, Ostu 法、最大熵法都不能很好的 将狒狒的面部分割出来, 局部方差法虽然可以得到大致分割 出来, 但是存在很多散乱点, 不能较完整的分割开来, 相对而 言, 本文能够比较好的将狒狒面部区域分割开来。 1926 系统工程与电子技术 第 28 卷 图 5 不同实验的实验结果 5 结束语 本文在引入一种图像像素映射的多分辨率模型的基础 上, 提出了基于多分辨率局部方差变化规律的图像分割方 法。本文方法的核心部分是利用多分辨率下不同地物的局 部方差变化不同来进行图像分割, 这从一定程度上解决了 许多传统分割方法极大依赖于图像灰度的缺点, 而将分割 的结果转向依赖于目标的内部特性。由于本文算法采取了 od based on maximu m en t ropy principl e [ J] . IE EE T rans . on Sy ste ms, M an and Cyberne ti cs , 1989, 19( 4) : 866 871. [ 4] 孙 即 祥. 现 代 模 式 识 别 [ M ] . 长 沙: 国 防 科 技 大 学 出 版 社, 2002. [ 5] A ndre B, L eon L J oshua. Wat ers hed-based segm ent at ion an d region merging [ J] . Comp ute r Vi sion and I mag e Und erst andi ng , 2000, 77: ( 3) : 317 370. [ 6] 徐海荣, 田国会, 李晓磊. 一种基 于自组织神 经网络的 彩色图像 分割方法[ J] . 山东大学学报( 工学版) , 2005( 6) : 67 70. 自动阈值选取方法, 在实际应用中有较强的适应性。实验 结果表明本文方法具有良好的分割效果。应该强调的是, [ 7] 高新波. 模糊聚类分析及其应用[ M ] . 西安: 西安电子科技大学 本文方法利用的是不同地物在不同分辨率下局部方差变化 [ 8] Bert ol ino P, M ont an vert A . M ul ti resolu ti on s egment at ion using 出版社, 2003. 规律, 至于其它图像特征与分辨率的关系将作下一步的 t h e i rregul ar pyram id [ C] 研究。 i ng s, I nt erna- ti ona l Con f er ence on , 1996, 1: 257 I mag e Pr oce ssi ng , 1996, Pr oc eed260. [ 9] J unda A , Chit sobhu k O . Image s egment at ion based on hierarchi 参考文献: [ 1] G onzalez R C, W oods R E. Digit al image processing ( 2nd ed) [ M ] . M A : A d di son-W esl ey , 2002. [ 2] O t su N . A t hr esh ol d select ion met hod f rom gray-l evel his t ogram [ J ] . I EE E Tr ans. on Sy stem , M an, and Cy be rnet ic s, 1978, 8: 62 66. [ 3] W ong A K C, Sahoo P K . A gray- level t hreshold sel ect ion m et h- cal mapping[ J] . I E EE I mag e P r oce ssi ng , 2004, 1: 215 218. [ 10] K im J B, K im H J. M u lt ires olut ion-b as ed w at ersheds f or ef fi cient image segment at ion [ J ] . P att er n Recog nit ion L et ter s, 2003, 24: 473 488. [ 11] Cao C , Lam N S N . U nderst an ding t he scale and resolut ion eff ect s in rem ot e sensing and G IS [ M ] . S cal e in R emote Se nsi ng and GI S , N e w Yor k: L ew i s Pu bl i sh ers , 1997.