全景视频的拼接算法研究及实现文献综述

 2022-09-26 05:09

文献综述(或调研报告):

1.前言

全景视频拼接的基础是图像拼接技术。关于图像拼接的方法国内外已有不少学者对相关算法进行了大量的研究,其算法大致可分为基于变换域的方法、基于灰度相关的方法和基于特征的方法,而如何提高图像拼接的效率、减少处理时间和增强拼接系统的适应性一直是研究的重点。接下来将主要介绍国内外研究人员的一些经典思路方法并介绍今年的发展。

2.正文

1996年,微软公司的Richard Szeliski教授设计了一种基于运动的视频拼接模型来创建虚拟环境[1], 为了对所有图像进行配准,该模型先使用变换矩阵求解一幅图像与其他图像对应的像素点,然后构造了一个关于对应像素点的平方灰度误差和的最小化问题,最后使用LM(Levenberg-Marquart)[2]迭代非线性最小化算法求解最合适的变换矩阵参数,以此达到对所有图像进行配准的目的。由于此方法效果较好、收敛速度快,且可处理具有平移、旋转和仿射等多种变换的待拼接图像,因此也成为图像拼接领域的经典算法,而Richard Szeliski也从此成为图像拼接领域的奠基人,他所提出的理论已经成为一种经典理论体系,直到今天仍然有很多人在研究他的拼接理论。2000年,Shmuel Peleg、Benny Rousso等人在Richard Szeliski的基础上做了进一步的研究和改进,提出了自适应的图像拼接模型[3],它是根据相机的不同运动,自适应选择拼接模型,通过把图像分成多个狭条图像进行多重投影来完成图像的拼接。这一研究成果无疑推动了图像拼接技术的进一步发展,自适应问题也从此成为图像拼接领域研究的新热点。同年,Kang, E.-Y.和Cohen等人提出了基于二维图像的全局配准[4],该方法将本地和全局配准合并到一个框架中,使用条带拓扑搜索将每帧图像连接起来的最佳路径。

SIFT特征提取算法是目前应用较为广泛的一个经典算法,在1999年,D. G. Lowe提出了SIFT算子[5]。在2003年,M.Brown在ICCV会上发表了一篇名为Recognising Panoramas[6]的文章,文中使用了基于不变量技术的SIFT算法进行图像拼接,算法完全自动完成且效果较好。M.Brown的这一文章再次掀起了全景图拼接技术研究的热潮。次年,D. G. Lowe继续完善SIFT算法,SIFT算子通过在高斯差分(DOG)金字塔中寻找极值点来检测兴趣点,然后通过兴趣点局部邻域的方向直方图计算主方向,最后使用兴趣点邻域高斯图像的梯度直方图信息来对特征点进行描述。通过这种方式提取的图像特征具有平移、旋转和尺度不变性,因为计算中对亮度进行了归一化,因此该特征对亮度变化也具有不变性,除此之外,SIFT特征对噪声、投影变换等也具有一定的稳定性,因此SIFT在图像处理领域被广泛引用。2007年,M. Brown和D. G. Lowe提出[8]了基于SIFT的全景图像拼接方法,该方法先对所有图像提取SIFT特征,然后使用BBF搜索算法对特征点进行粗匹配,再使用RANSAC(随机抽样一致性)算法对匹配点对进行提纯,然后通过提纯后的匹配特征点对求解图像之间的单应性矩阵,再求解完所有两两图像之间的单应性矩阵后,使用光束平差法(即捆绑调整)对图像变化参数进行优化,以使得整体配准误差最小,最后使用基于拉普拉斯金字塔的多分辨率融合方法[9]对图像进行融合,得到了高质量的全景拼接图像,为后续全景图像拼接技术的深入研究奠定了基础。其他使用SIFT进行拼接的研究也很多,如[10][11]等。

2006年底,Bay等人提出了另一种基于不变量的SURF(Speeded Up Robust Feature)特征检测算法[12]。SURF算法巧妙地利用快速积分和盒子滤波,在继承SIFT特征检测算法的鲁棒性和抗干扰性的同时,大幅改进了特征提取的速度。实验表明,同样情况下,SURF算法的速度是SIFT算法的三倍左右。

为了能在手机,机器人等实时、低功耗设备上进行目标识别,图像拼接等功能,2011年,Rublee等提出了一个有效的代替SIFT和SURF的算法——ORB算法。通过实验表明,ORB算法的检测速度比SIFT算法快两个数量级,是SURF算法的3倍,且性能更加鲁棒。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。