恶劣道路下智能车视觉系统稳像算法的研究文献综述

 2023-08-04 10:08
  1. 文献综述（或调研报告）：

现存的常用的稳像技术按原理分为三类，分别是光学稳像(Optical Image Stabilization, OIS),机械稳像(Mechanical Image Stabilization，MIS)和电子稳像(Electronic Image Stabilization，EIS)。

光学稳像的主要任务是将光学防抖元件，比如光楔，反射镜，棱镜等，放置于摄像系统中，当抖动发生时，利用光学元件的自适应调整，来对光路进行补偿，从而保持成像的稳定。光学稳像由于不需要固定整个摄像系统，所以重量和体积较轻，所以光学稳像相对于机械稳像来说应用场景和范围较广，如天文，军事，医疗等。全光稳定系统的关键是在传感器将投影图像转换成数字信息之前进行稳定处理。但其只能适用于抖动比较小的应用场合以及平行光束中而且制造工艺复杂，价格昂贵。亚洲日韩地区对光学稳像研究较多，如应用于日本松下公司研究出可手持的可稳像摄像机，用的模糊理论和感应线圈；韩国三星公司利用提取图像边缘特征的匹配算法，研究出子使用的运动估计系统[3]；日本尼康、佳能、索尼、松下等创伤对光学蚊香技术开发和应用，是其小型化和平民化。国内光学稳像研究起步于80年代，由长春理工大学和北京理工大学展开了研究，曾发表数篇关于光学稳像系统和动态光学理论的研究。

机械稳像的原理是通过使用陀螺传感器并且结合伺服器构成的稳定平台来捕捉载体平台的运动平移，使用伺服系统来对载体平台的运动进行校正以实现图像的稳定[4]。如果基座上面的成像系统产生随机抖动，陀螺传感器感应到运动，通过控制器将信号放大之后输出，再通过驱动伺服电机或者压电陶瓷来对基座上的成像系统反向补偿，削弱或者消除随机抖动，使摄像头保持稳定，并使输出的画面变得清楚且容易观察。机械稳像大多用在车载、机载等大型设备中。其稳像精度不高，且易受到传感器的误差影响，如陀螺仪漂移，A/D转换和运算放大器的噪声等，只能属于一级稳定。机械稳像成本高昂，结构复杂，体积大，功耗高，不能得到很好的推广，目前只能在特定场合使用。美国在40年代末已经在军事方面使用火炮稳定器，之后又广泛使用陀螺稳定跟踪装置，加拿大防御研究中心DREV根据国防要求，成功研制出满足实时性车载需求的稳像系统，安装在侦察车10m高的桅杆上，其图像处理、稳像速度达到30帧/s，可以消除车体由于路况以及风力吹拂引起的随机振动而导致的视频图像晃动[5]。上世纪80年代中国才刚刚开始机械稳像技术的研究，最早应用于军事以及航天领域，并主要是对使用陀螺仪稳定平台的研制，国内从事相关工作的单位不多，资金较少，与国外存在很大差距。

电子稳像是利用电子图像处理技术来对视频帧序列进行运动估计，运动滤波和运动补偿。在初期因为处理器的性能不高，计算能力不强，稳像效果并不太好，随着半导体材料的不断研发，计算机计算能力得到大幅度提升，稳像效果也随之增强，电子稳像成本不断下降，越发为大众所接受。国外比我国在电子稳像领域起步更早，美国和加拿大已经有二十多年的研究历史[6]。80年代中期，美国首次将电子稳像技术应用在导弹制导系统中，代替了原系统中价格昂贵的稳定平台，并取得了较好的稳定效果.美国军事研究实验室（ARL）研制的应用在无人驾驶越野车上的稳像系统，其稳像精度已优于1个像元。。其后，法国，美国，英国，俄罗斯，以及以色列等国家对电子稳像技术进行了研究。以色列的希伯莱大学计算机科学学院，研究了由于摄像机运动导致的图像模糊[7]；英国Ovation公司研制出能够延迟80毫秒速度处理稳像的可变焦摄像机。国内在电子稳像方面的研究与外国相比起步较晚，在上世纪80年代，同时期国内对于电子稳像技术的研究，最初要追溯到1999年的中国科学院长春光学精密机械与物理研究所。他们最先开始对电子稳像技术的原理与应用进行研究，并将其用于船舶的摄像装置中，减小了船舶由于风浪而引起的随机抖动造成的视频画面模糊，并且效果不错。

电子稳像的前提条件和最关键的步骤是得到图像的全局运动矢量，全局运动矢量估计精度是影响整个稳像效果的重要指标。主要有两种方法来获得全局运动矢量：一是通过硬件实现，如利用传感器来检测摄像头的运动矢量再转化为图像的运动量，通过放大滤波处理，除去高频成分后，再经过AD转换存入计算机，再采用图像补偿来补偿运动，实现图像稳定；二是通过软件实现，利用稳像算法来实现运动估计，选取图像后与参考图像利用稳像算法获取图像的全局运动矢量。软件相比硬件处理速度更快，使用成本更低，稳像精度更高。目前电子稳像是稳像领域的热门技术，它既能有效增强图像的清楚程度，而且有体积小，功耗较低，成本便宜，灵活等优势，独立于硬件运作，便于实现设备的小型化和轻量化。邱家涛博士提出一种动态选择运动检测块的稳像算法，证实该算法对较大运动物体的视频有较好的稳像性能[8]。中国航空工业洛阳电光设备研究所提出了一种新的电子稳像技术，根据MCD相关匹配法做出改进[9]。朱娟娟博士提出了分层位平面匹配技术，快速投影算法和基于特征点迭代的电子稳像算法，分别针对小平移、大平移和复杂抖动三种应用场景[10]。北京大学孙辉针对船载视频帧的稳定反向进行了研究，提出了基于灰度投影拟合的稳像方法[11]

国外对全局运动估计的方法颇有研究。全局运动估计的基本思路是将视频序列的每一帧图像分为许多不重叠的宏块，而且认为一个宏块内的所有像素点位移量相同，然后针对各个宏块到参考帧某一给定搜索范围内根据一定的匹配规则寻找与当前最相似的块，就是匹配块，匹配块与当前块的相对位移就是运动矢量。运动估计的三个关键问题是：将运动场参数化，定义最优化匹配函数以及寻找到最优化匹配。这个方法也叫块匹配法，其中块匹配基本原则有最小平均差（MAD）、最小均方误差（MSE）、最小归一化互相关函数（NCCF）以及最小总绝对差（SAD）。而对于块匹配的搜索路径有：全搜索法、三步搜索法、菱形搜索法。块匹配算法只能对平移运动进行估计，对于旋转与变焦等抖动处理结果不佳[12]。此外还有SIFT，即尺度不变特征变换（Scale-invariant feature transform）可在图像中检测关键点，它基于物体上的一些局部外观兴趣点，并于图像大小和旋转无关，适合在大量数据库中快速精准匹配，但SIFT的主要缺点之一就是它不是仿射不变的。在SIFT的基础上，不少研究者提出优化方案，如Matas等人提出的MSER，即最大稳定极值区域特征探测器,MSER在大范围的测试序列中表现最佳，这是因为MSER探测器不是基于角的，也不倾向于探测深度不连续上的区域，此外，MSER具有作为仿射协变的独特属性，这使得它对视图的变化具有鲁棒性[13]。

总的来说，国外对稳像系统的研究起步较早，其中随着集成电路发展与计算机技术进步，电子稳像系统在军用和民用方面的应用不断发展，经过研究与优化，现已逐步实现小型化、高精度和实时性要求，总体已经较为成熟。其中我的课题要求研究车载稳像系统，机载电子稳像技术是从车摄图像序列的针尖差别中，估计代表摄像机运动的参数，并根据运动参数判断这种运动是属于随机抖动，还是人为使摄像机的扫描运动，然后通过运动补偿算法来消除或减轻摄像机的随机抖动对视频图像的干扰，实现图像序列的稳定[14]。对于我的课题来说，在最关键步骤全局运动矢量估计上，外国研究较为领先，对于各种方法的改进与优化已有大量研究，可以对此借鉴学习。我国在稳像系统方面对机械稳像方面研究较早，但也晚于国外，而电子稳像算法起步较晚，虽然在理论方面已经做出一定建树，但还欠缺能适应复杂抖动的处理。而且针对车载要求开发的电子稳像系统较少，而我选择这个恶劣道路下智能车视觉系统稳像算法的研究课题，就是想在国内已有的车载稳像系统的基础下，以智能车视觉系统的稳像作为研究点，对整个电子稳像系统的流程与步骤进行熟悉，并对相关流程的算法进行择优选择或优化，并根据结合国内外国相关专家学者的研究，来选择满足车载要求的最佳的算法匹配并予以实现，通过对实验结果的分析，来对未来电子稳像的研究方向预测。从今年国内稳像领域发展的趋势来看，车载稳像具有非常重要的民用和军用价值，国家可以对此提高相关的研究力度。

参考文献

  1. ADAS是实现汽车主动安全的关键[J].电源世界,2017(04):47-49.
  2. 陈启立,宋利,余松煜.视频稳像技术综述[J].电视技术,2011,35(07):15-17 22
  3. Kinugasa T, Yamamoto N, Komatsu H, et al. Electronic image stabilizer for video camera use[J]. IEEE Transactions on Consumer Electronics, 1990, 36(3):520-525.
  4. 钟平,于前洋,金光,续志学.机载摄像设备图像稳定方法探讨[J].光电工程,2002(S1):73-76 83.
  5. Maheux J, Cruickshank J M, Sevigny L. Video-rate image stabilization system[J]. Proceedings of SPIE - The International Society for Optical Engineering, 1998, 62(6):313-321.
  6. Uomori K, Morimura A, Ishii H, et al. Automatic image stabilizing system by full-digital signal processing[J]. IEEE Transactions on Consumer Electronics, 1990, 36(3):0-519.
  7. Egusa Y, Akahori H, Morimura A, et al. An electronic video camera image stabilizer operated on fuzzy theory[C]// Fuzzy Systems, 1992. IEEE International Conference on. IEEE, 1992.
  8. 邱家涛. 电子稳像算法和视觉跟踪算法研究[D].西安电子科技大学,2013.
  9. 吕高杰,车宏,赵龙,张国华.一种鲁棒性强的电子稳像方法[J].电光与控制,2010,17(01):57-60.
  10. 朱娟娟. 电子稳像理论及其应用研究[D].西安电子科技大学,2009.
  11. 孙辉,熊经武,赵红颖.电子稳像技术在船载电视监视系统中的应用[J].光电工程,2008(02):103-108.
  12. 贺雅琦. 基于块匹配的电子稳像技术研究[D].哈尔滨工业大学,2017.
  13. Okade M., Biswas P. K.: Video stabilization using maximally stable extremal region features[J]. Multimedia Tools and Applications, 2014, 68(3): 947-968.
  14. 马志强,陈广居,单勇,等.机载电子稳像技术综述[J].电子设计工程,2012,20(20):171-175.

剩余内容已隐藏，您需要先支付 10元 才能查看该篇文章全部内容！立即支付

以上是毕业论文文献综述，课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章