基于神经网络的表情识别系统文献综述

 2022-09-23 03:09

文献综述(或调研报告):

在日常生活中,面部表情在交流中起到了非常重要的作用,是人类交流中一种重要的非语言信息,不仅传达了情绪,也传递了交流者丰富的情感信息,在某些方面比语言交流更加有效。随着计算机技术的快速发展,人脸表情识别技术的研究已经变得非常活跃。现如今,人脸表情识别是指使用计算机自动分析人脸面部表情变化的一种技术,即赋予计算机人类认知思维去分析人类的情绪,从而创建一个更好的人机交互的环境。[1]

近年来,人们对通用特征学习算法和特征提取算法进行了大量的研究。大多数这些算法利用无监督学习,因此在即使没有标签的时候也可以应用。当一个特征层次被训练时,这些被称为深度模型。这些分层的特征学习方法是基于单层模型的无监督训练,如RBM、稀疏编码或自动编码变体。最近一种比较成功的自动编码器是压缩自动编码器(CAE)。[2]

CAE的基本原理是通过相关的正则化可以产生局部不变的特征。正则化惩罚阻止输入图像的小变化引起的相关的特征变化。与标准的多阶段管道相比,特征学习策略采用了一种不同而互补的策略,以构造具有良好泛化性能的非变量表示。标准的管道通过对不同因素的低层特征的聚合,对已知的干扰性变异因素建立不变性,非监督的特征学习包括所有的干扰性因素,包括干扰性因素,但是在某种程度上这些因素在数据中是独立的,它倾向于单独表示这些因素。在理想的情况下,当学习到的特征表示仍然包含妨害因素,它们会与相关因素脱离开来,因而更容易被后来的分类者忽略。[3]

人脸表情识别(FER)系统主要包括3个部分:图像预处理、表情特征提取和表情分类。建立FER系统,首先需要进行图像预处理,即对采集的样本进行预处理操作,减小样本噪声对表情识别的影响,该过程主要涉及到图像的光照补偿、尺度归一化及人脸检测定位等操作。[4]表情特征提取的目的是从经过预处理的图像中提取出能够表示表情本质的特征信息。同时,为了避免图像维数过高,影响算法的运行,还需要特征降维、特征分解等操作。表情分类是分析提取出的特征之间的关系,将输入的人脸表情图像分类到相应的类别中。[5]

表情特征提取是面部表情识别系统中最重要的部分,有效表情特征提取能够有效提高系统识别的性能。在人脸表情特征提取中,为了避免图像维数过高从而影响算法的运行,一般还需要特征降维、特征分解等操作。[6]

表情特征提取主要是采用数学方法,依靠计算机对人脸表情图像进行数据的组织和处理,去除非表情的噪声,并提取能够表征人脸表情的特征。[7]根据表情发生时的状态的不同,可以将图像分为静态图像和动态图像序列,因这两种图像的特征提取方法不一样,所以可以将表情特征提取算法分为静态图像的特征提取算法和动态图像序列的特征提取算法。下面将介绍几种经典的特征提取算法,并总结国内外学者在这些算法基础上进行的改进和这些算法的创新应用。[8]

静态图像呈现的是表情发生时单幅图像的表情状态,直观地显示了表情发生时人脸肌肉运动所产生的面部形变和纹理特征。常用的静态图像表情特征提取方法有纹理特征提取和几何特征提取。[9]

(1)纹理特征提取纹理特征是指使用人脸面部图像的所有特征,反映了人脸表情图像底层的信息,突出体现了局部表情信息的变化。纹理特征提取方法中具有代表性的方法有局部二值模式(Local Binary Pattern, LBP)、Gabor小波变换。局部二值模式是一种进行局部特征比较的方法,通过图像的局部灰度变化关系来表征局部纹理特征。Ojala等人提出最原始的LBP算子,之后出现了大量的改进算法[10]。LBP算子的优点是能有效克服图像位移、旋转及光照不均等问题,运算速度快,能够有效描述图像的纹理信息。但LBP对噪声敏感,且只考虑了中心像素和邻域像素的差值符号特征,没有考虑差值幅度,丢失了部分数据信息。为了使LBP特征提取更充分,Guo等人提出了完全局部二值模式(CLBP))算法[11],CLBP提取的特征比较全面且具有较强的鉴别能力。但CLBP在提取比较全面的信息时,不可避免地提取了干扰信息,这不仅增加了特征维数,也增加了时间复杂度,因而识别率受到一定的影响。针对这一问题,Guo等人又提出了基于Fisher准则的局部二值模式(FCL-LBP)算法和具有判别力的完全局部二值模式(disCLBP)算法[12],其通过使类间距最大、类内距最小,筛选出更具有鲁棒性的纹理特征。Zhou等人改进了disCLBP算法,即针对每种表情分别筛选出其特有的特征,从而得到比共同特征更具有辨别性的表情特征,从而更利于表情识别[13]。Gabor函数由Dennis Gabor博士在1946年正式提出,随后被广泛应用于信号分析和图像处理领域。Gabor小波的优点是能够检测多尺度、多方向的纹理变化,而且对光照变化不敏感,具有较好的适应性,可以很好地描述图像的纹理特征[14]。但是Gabor滤波器组通常提取整张图像的特征,无法获取局部细微的特征,特征也存在冗余。针对这一问题,liu等人提出了两个Gabor多方向特征融合规则,以将相同尺度不同方向的特征融合到一起。Zhong等人提出一种基于局部Gabor特征的特征提取方法,用以提取局部Gabor特征进行径向编码。

剩余内容已隐藏,您需要先支付 10元 才能查看该篇文章全部内容!立即支付

以上是毕业论文文献综述,课题毕业论文、任务书、外文翻译、程序设计、图纸设计等资料可联系客服协助查找。