您的当前位置：首页全景图像拼接算法

全景图像拼接算法

来源：小侦探旅游网

第43卷增刊1

2003年10月

大连理工大学学报

JournalofDalianUniversityofTechnology

Vol.43,S1Oct12003

文章编号:100028608(2003)S12S180203

全景图像拼接算法

曹俊杰3,　封靖波,　苏志勋

(大连理工大学应用数学系,辽宁大连　116024)

摘要:提出了一种新的柱面图像拼接算法,即利用相邻2幅图像中的2组特征点,确定2幅

图像的位置关系.该算法可自动对照相机水平环拍的1组图像进行无缝拼接,得到1幅360°的柱面全景图像.实验结果验证了算法的有效性.

关键词:全景图;柱面投影;梯度;中值滤波中图分类号:TP391141

文献标识码:A

0　引　言

全景图和超宽视角的图像在现实生活中有着广泛的应用.在虚拟现实领域中,利用全景图像

表示实景可代替复杂的32D场景建模和绘制[1、.在其他诸如视频压缩、传输[3]和医学[4]等领域,全景图也有其不可替代的作用.利用广角镜头可得到宽视角的图像,但得到360°的全景图往往比较困难,而且,广角镜头的边缘会产生难以避免的

平面,以防止视差的出现.在实际拍摄中,景物距离相机足够远即可把景物视为平面.

柱面和球面全景图因其360°全视角的优点而有着最广泛的应用.本文即针对柱面全景图提出了一种基于最大梯度的匹配方法,利用相邻两幅图像中的两组特征点,确定两幅图像的位置关系.

1　柱面投影

相机采集到的反映360°全景的1组图像是相机在不同角度下拍摄的,它们并不在同一投影平面上,如果对重叠的图像直接进行无缝拼接,会破坏实际景物的视觉一致性,如景物中的直线拼接后会变成折线.为了保持实际景物的空间约束关系,必须将得到的反映各自投影平面的图像映射到一个标准投影——柱面投影上.进行柱面投影后才能进行拼接得到视觉一致的全景图像.

利用文献[2]中的公式可得到图像的柱面投影以及焦距的估计,结果如图1所示.

扭曲变形.随着计算机和图像处理技术的发展,图像拼接技术为得到全景图提供了很好的解决方案.它可将一系列有重叠边界的普通图像或视频图像进行无缝拼接而得到全景图.

得到原始图像不同的方式,产生了不同的图像拼接算法.大致可分为如下几类:

柱面󰃗球面全景图[3、是应用最多的一类全景图,它要求相机绕一垂直转轴(如三脚架)作水平转动.本文的方法也是以这一类全景图为处理对象.

基于仿射变换全景图[6]常被用来作为基于透视变换全景图的一种近似.它可处理的相机运动包括相机的平移、镜头的拉伸(焦距改变)和绕光轴的旋转.在相机倾斜程度不大以及焦距足够大的时候,基于仿射变换的方法可获得较好的匹配结果.

基于透视变换全景图[7]对相机的运动没有严格的,但它要求被拍摄的景物是一近似的　　收稿日期:2002206202.

图1　处理前后的图像

Fig11　Imagesbeforeandaftertreatment

基金项目:国家自然科学基金资助项目(60275029).

作者简介:曹俊杰3(19772),男,硕士生,E2mail:jingbofeng@sina.com.cn.

　增刊1　　曹俊杰等:全景图像拼接算法

示.

S181

2　图像的拼接

一旦将图像投影到一统一的柱面上之后,全景图的拼接问题就转化为在柱面上图像间的平移问题,即确定一幅图像相对于上一幅图像的水平和垂直偏移量.2.1　特征提取

2幅图像中有相似的部分,则上面的2个数组

中必有一部分,它们的差数组具有很好的稳定性,即差数组的方差具有局部最小的性质,这样就可以找到2幅图像的位置关系.

将待拼接的左、右2幅图像分别记为Il、Ir.宽和高分别为Wl、Wr和Hl、Hr.取图像的左上角作为图像坐标的原点.

本文提取这样的特征点:对于每幅图像,首先利用Canny算子提取图像的边缘,在每一列的边缘点中找出梯度值最大的一点,记录该点的纵坐标.若此列不存在边缘点,则直接找出该列的梯

度值最大点.对于图像中任意一点(i,j),梯度值由下式给出:

Mag(i,j)=

I(i+1,j)-I(i-I(i,j-1,j)1)2

图2　特征点的分布情况

1󰃗2

I(i,j+1)-Fig12　Layoutoffeaturepoints

I(i,j)是点(i,j)的灰度值.这样可得到2个长度

2.3　匹配策略

由于2幅图像的重叠部分一般不超过50%,为减小计算量,只在左图像的右半部分和右图像的左半部分中进行计算,下面来确定全局最小方差的两段子数组.这两段的起始位置,也就是两幅图像的最佳匹配点.

在代表左、右图像的两个数组中分别取一固定长度L的子数组,记为Sl和Sr.L的选取可视图像的宽度而定,一般L取为图像宽度的1󰃗10左右会得到较好的效果.Sl和Sr的相似程度

Simil(Sl,Sr)由Sl-Sr的方差来描述,即

Simil(Sl,Sr)=SE(Sl-Sr)

分别为Wl和Wr的数组Magl和Magr,数组中的元素是图像中该列上梯度最大点的纵坐标.这2个数组反映了2幅图像中按列最大梯度特征点分布的情况.在确定每列梯度的最大点时,遵循以下原则:

(1)当该列中梯度最大值的点有2个或2个以上时,取距离图像水平中线距离最近的点作为该列的特征点;

(2)当2个点距离图像水平中线相等时,取上方的点作为该列的特征点.2.2　特征点的处理

其中方差SE(Sl-Sr)=

∑[(S

i=1

[i]-Sr[i])-

在图像的采集过程中,相机不会在一个绝对的水平面上运动,倾斜、抖动等现象不可避免.另外,景物中物体的运动和光线的变化也时常发生.这样会使某些列中梯度最大点在2幅图像中有很大出入,数据的抖动性比较大.为消除这种干扰,本文采用中值滤波的方法,过滤掉这样的点,使对数组的判断更具可靠性.实验证明,中值滤波的处理可大大减小误匹配的可能性,保证了算法的可靠性.

利用长度为7的一维窗口对2个数组进行中值滤波,滤波后图像特征点的分布情况如图2所

mean],mean=

∑(S

i=1

[i]-Sr[i])󰃗L.

Simil(Sl,Sr)越小,说明Sl和Sr越相似.那

么,必然可以找到这样的S0l和Sr,使得

Simil(Sl,Sr)=

SlSrmin{Simil(Sl,Sr)}

2幅图像的最佳匹配位置就是S0l和Sr的起

始位置.由于Magl和Magr的元素值是按列梯度最大点的纵坐标取值,在确定了列的匹配位置时,也同时确定了行的匹配位置.这样就可找到最佳的匹配位置.2幅图像拼接的结果如图3所示,图

S182

大连理工大学学报

第43卷　

(b)是用本文的方法对多幅照片拼接得到4(a)、

的360°全景图.2.4　灰度的融合

由于光照条件不尽相同,采集的图像在亮度上会有较大的差别.这样,在图像的拼合处会产生亮度的不连续现象,影响生成的全景图的效果.目前已有很多方法来解决这一问题.本文采用Szeliski[7]的方法,因它具有简单有效的特点.在

图4　多幅照片的拼接结果

Fig14　Panoramaconstructedfromacollectionof

images

这个方法中,2幅图像重合部分中任意一点p的灰度值为

g(p)=[Ξt(x)Ξt(y)gl(x,y)+

)Ξt(y′)gr(x′)]󰃗Ξt(x′,y′[Ξt(x)Ξt(y)+)Ξt(y′)]Ξt(x′

)是p在2幅图像中对应gr(x′式中:gl(x,y)、,y′

)的灰度值(x′点(x,y)、,y′.Ξt是线性权重函数,

参考文献:

[1]SZELISKIR,

[A].

SHUM

Creatingfullview

[C].

Los

panoramicimagemosaicsandenvironmentmaps

Proceedings

SIGGRAPH

Angeles:[sn],1997.2512258.[2]孙立峰,钟[3]CHENS

在图像的中心取值为1,边缘取值为0.

立,李云浩,等.虚拟实景空间的实时漫

游[J].中国图象图形学报,1999,4A(6):5072513.

Quicktimeof

ACM

VR—anComputer

image2basedGraphics

3　结果与讨论

对大量照片实验的结果表明,本文算法行之

有效且有较强的鲁棒性.通过图4(b)可以看到,虽然相机在一倾斜的平面上运动而且不同的图像光线的差异很大,但利用本文的算法仍能给出很好的拼接结果.这是由于利用了梯度信息而不直接利用灰度信息来确定特征点,对两幅亮度差别较大的图像仍可很好地找到匹配的位置.本文对特征点数据作了中值滤波的处理,消除了个别点的偏差带来的影响,这一处理是决定算法鲁棒性的重要因素.

approachtovirtualenvironmentnavigation[A].Proceedings29238.

[4]CANA,STEWARTCV,ROYSAMB.Robust

hierarchicalalgorithmforconstructingamosaicfromimagesofthecurvedhumanretina[A].ProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition[C].Colorado:[sn],1999.2862292.

[5]MCMILLANL,BISHOPG.

Plenopticmodeling:

Animage2basedrenderingsystem[A].ProceedingsofACMComputerGraphics(SIGGRAPH′95)[C].LosAngeles:[sn],1995.39246.[6]SZELISKI

Video

mosaics

for

virtual

environments[J].1996,16(2):22230.

[7]SZELISKIR,KANGSB.Directmethodsforvisual

scenereconstruction[A].

IEEEWorkshopon

[sl]:[sn],

ComputGraphicsandAppl,

(SIGGRAPH′95)[C].LosAngeles:[sn],1995.

图3　两幅照片拼接结果

Fig13　Mosaicimageconstructedfromtwoimages

PresentationofVisualScenes[C].1995.26233.

Apanoramicimagemosaicalgorithm

CAO　Jun2jie,　FENG　Jing2bo,　SU　Zhi2xun

(Dept.ofAppl.Math.,DalianUniv.ofTechnol.,Dalian116024,China)

Abstract:Anewmosaicalgorithmisproposed,whichusestwosetsoffeaturepointsfromtwo

imagestodeterminetheoffsetofoneimagetoanother.Labresultsprovethatthisalgorithmisableto

seamlesslystitchasetofimagesautomatically,togetapanoramicimagewith360°view.Keywords:panorama;cylindricalprojection;magnitude;medianfilter

因篇幅问题不能全部显示，请点此查看更多更全内容

查看全文