面向自动驾驶仿真的背景图像修复研究文献综述

 2022-05-17 10:05

一、前言

仿真系统是自动驾驶技术开发和验证的基础。传统的仿真方法使用游戏引擎或计算机图形学模型来创建驾驶场景,不仅成本高、耗时多,而且所得场景图像缺乏真实世界图像的丰富性和真实性,使用这种场景图像进行训练会导致性能下降。数据驱动自动驾驶仿真方法以真实图像为基础,利用图像处理和分析技术创建类似真实世界的模拟场景,能够避免传统仿真方法的不足。

利用真实图像生成虚拟驾驶场景视图时,首先需要从图像中移除车辆、行人等前景目标,以便获得不包含移动目标的背景图像。但移除前景目标会在图像中留下空洞,必须通过图像修复复原完整的背景图像。为此,本课题拟在数据驱动的自动驾驶仿真框架下,研究移除前景目标后的背景图像修复方法,基于纹理合成原理实现背景图像修复,为仿真系统提供背景参考图像,相关方法也能为进一步合成虚拟视角的模拟场景图像提供基础。

二、国内外相关研究

图像修复的思想有着比较久远的历史,但是作为一门技术被专门研究却是图像处理领域一个比较新的课题。直到 2000 年,图像修复(Image Inpainting)的概念才在国际图形学年会这一比较正式的具有国际影响力的大会上由 Bertalmio[1]等人正式提出。发展到目前图像修复技术多种多样,其中最主要的两个类别为基于结构的早期经典方法和基于纹理的修复技术。此外,新兴的基于深度学习的修复技术近年来也是发展迅速[2]

2.1基于结构的修复算法

大多数传统修复算法利用偏微分方程原理完成修复,这类方法以像素为单位将已知图像信息扩散到缺损区域[3],其主要思想是模仿手工修复的技巧,从缺失区域边界通过迭代的方式平滑地向内部逐步扩散实现图像填充。Bertalmio等利用图像分解模型将图像分解为结构部分和纹理部分[4],先利用PDE(Partial Differenitial Equation:偏微分方程)方法[5]修复结构部分,再利用纹理合成技术对纹理部分进行填充,获得了较好的视觉效果,但其对大尺度破损区域的修复易产生模糊[6]。这就是基于结构的早期经典方法:BSCB(Bertalmio,Sapiro,Caselles,Ballester:四个人名)模型。BSCB 模型[7]的修复思想和数学建模是易于理解和容易实现的,但该修复方法的是以像素为单位的修复特点决定了修复速度必然是十分缓慢,且修复效果缺乏整体的美观与协调,因此 BSCB 模型常常只作为图像修复入门时的参考模型来研究[8]

Bertalmio 等人提出了 BSCB 模型之后,各种基于结构的修复模型相继被提出,基于结构的图像修复算法具有理论性强、适应性好、但不能产生强边缘的特点[9]。Chan等人从另一个角度提出一种整体变分模型,是首先利用变分法求解建立的数学模型,最终同样会得到一个偏微分方程,完成迭代修复[10]

全变分模型的产生来自于图像去噪方面的研究,Rudin L[11]等人将数字图像视为一个分段后以平滑形式呈现的函数,在对有界变差空间上对图像建模的过程中发现这种处理方式在去噪的同时能够很好地保持图像的边缘信息,并由此提出了整体变分模型的概念。Chan 等人受到启发并将该模型成功地推广到了图像修复,其具体修复过程是通过建立合适的代价函数,利用求解函数极值的方法来求解,TV 模型[12]与 BSCB 模型整体的修复思路相似,都是按照一定的方式将缺损区域周围保存完好的像素点向内扩散来完成修复工作。TV 模型比BSCB 模型有了较大的进步,数学分析相对简单,可实现性也比较好,但由于该模型破坏了视觉理论的连通性原理,对相对间隔比较远的两个物体难以视为一个整体联系在一起,这个特点大大地限制了基于 TV 模型图像修复方法的实用性,使得该方法只适合于在小尺度图像缺损的情形,而对大尺度缺损或者存在较宽区域损失的图像则无法达到比较好的修复效果。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。