基于人脸识别驾驶员疲劳检测系统设计文献综述

{title}{title}

1． 前言

近年来，随着中国经济的快速发展和汽车制造业业技术的日益成熟，汽车保有量逐年增加，2020年汽车保有量达2.81亿辆^[1]，同时机动车驾驶人数达4.56亿人。汽车给我们生活提供方便的同时也产生了一系列问题，例如道路交通事故、环境污染等。2020年中国道路交通事故万人死亡人数为1.66人，较往年而言有所降低，但依旧是值得重视的问题。近年来中国交通事故发生数量、事故死亡人数、事故受伤人数及直接财产损失如下表所示：

在有关交通事故产生原因的调查中，根据我国交通部门的统计可知，因疲劳驾驶原因而造成的交通事故达25%左右^[2]，同时，美国印第安那大学研究发现，大约85%的交通事故与驾驶员有关，在驾驶员的所有错误中，最常见的错误是驾驶行为不佳，如注意力不集中、快开车及方法欠缺等，且这些问题地主要原因一定归为过累。所以说，过累驾驶是道路行车过程中的巨大问题，所以怎样操控和制止过累行车是各个开车公民必须遵守的规矩，同时我们每个开车和即将要开车的人都要重视的事情。

过累开车完全起源脑力和精力过度使用或长时间不间断运行让我们心理承受力和身体承受力失调的结果，过累开车能干扰开车人的警觉和稳定开车水平。所以，若是可以设计出一个过累检查和预告体系，在开车时定时观察开车人的各种状态，当开车人出现过累情况时可以给出预警，高速开车人提起精神或不开休息，这样开车过程中的可靠性一定能级大地拔高，因为过累开车造成的不安全能很好地得到控制。

在由疲劳驾驶所导致的交通事故中，如果能提前2秒钟预警，能避免其中92%的事故，提前0.5秒钟预警也能避免掉73%的事故^[3]。所以对开车人疲劳程度的检验和辅助开车装置的研发显得十分急迫和重要。当长时间驾驶车辆感动疲倦时，应立即找一个安全的环境停车休息，并采取适当措施来减轻疲劳，恢复精神状态，使头脑清醒，意识恢复正常，暂时缓解疲劳的快速方法：

(1)下车呼吸新鲜空气或者用清水洗脸；

(2）冲杯茶水或者咖啡，刺激人的大脑神经，使人恢复精神状态；

(3）开车时可以适当听一些欢快的音乐，可以让人神经兴奋，头脑清醒；

(4）下车活动活动，走动一小会儿，做一些简单的有氧运动，如深蹲、伸展运动等；深呼吸几次，使大脑得到氧气的补充，促使大脑兴奋；

(5）用双手适当的拍打额头，疏通头部经络和血管，加快人体气血循环。

上述介绍的几种方法只能暂时的缓解疲劳，并不能从根本上解决疲劳驾驶的状态，是一种“短暂性”的行为，要想保持一种清醒的状态，唯有保证充足的睡眠，尽量避免长时间的驾驶车辆，让大脑得到应有的休息，这样才能从根本上避免疲劳驾驶，才能拥有一个良好的驾车环境，而且驾车忌饮酒、吸烟等动作]，会导致驾驶员精神恍惚，反应力下降。驾驶车辆时也要避免玩电话，会分散注意力，不能全神贯注地驾驶车辆，同样会危机人身安全。凭借关于人脸的研究结果,本文基于人脸识别技术和其他相关算法实现开车人脸检验,并根据检测结果对驾驶员进行实时预警。

2． 正文

疲劳是一种由于长时间、单调的脑力或体力劳动而引发的生理现象，并表现在人的表情、行为上^[4]，随着科技水平和图像处理技术的发展，驾驶疲劳检测技术也日益成熟，目前已有的驾驶员疲劳检测技术中，基于疲劳现象在不同尺度上的表现，主要分为基于生理信息检测、基于驾驶操作行为检测、基于车辆行驶状态检测和基于驾驶员行为特征检测四类^[5]。

基于生理信息的疲劳检测中，检测主要包括对驾驶员做心电图（ECG)、脑电图（EEG)、眼电图(EOG)、表面肌动电流图（SEMG)等。EEG主要是通过检测驾驶员的脑电波,根据波动情况来反应其精神状态，检测准确度高；ECG主要是通过检测驾驶员的心率，虽然其检测准确度较高，但缺点是每个人的身体素质不同，其心率衡量标准不同，故实用性不高。且检测驾驶员生理信号的设备体积大，车内空间本来就小，不适合车载,且需要在人体安装电极感应器，影响驾车的整体感受。

检测出的生理信息能够直观准确的反映出驾驶员的疲劳状态，但驾驶员的生理信息获取难度大，甚至影响了驾驶员的正常驾驶，仅仅适用于实验室环境下的疲劳检测；基于驾驶员生理信号的基于驾驶操作行为检测相较于生理信号检测而言，检测过程对于驾驶员的影响很小，只需要接收一些车载传感器传来的信息并进行简单的计算即可，但驾驶操作行为检测方面的理论研究较少，进行疲劳检测与判定时的一些临界值难以确定，只适合于高速驾驶环境的疲劳检测^[6]；

基于车辆行驶状态检测与基于驾驶操作行为检测类似，检测主要包括车辆行驶速度的变化、转弯的角度、方向盘转角等。正常状态下，车辆是行驶在两条车道线中间的，且根据路况的不同其行驶速度也是不同的，当道路环境不复杂时，方向盘转动角度是很小的;但当驾驶员处于疲劳状态时，车辆行驶轨迹是多变的，杂乱无章，车辆行驶速度也是时快时慢，方向盘转动角度时大时小，根据车辆行为特征的变化可以进行驾驶员疲劳状态的分析。该检测系统需要的设备主要为摄像机和传感器，因车辆在高速路段以及市内环境的不同，检测效果不理想，且实验设备昂贵，不适合小资车，普遍性不高^[7]。

基于驾驶员行为特征检测利用车载相机对驾驶员驾驶过程中的行为特征提取分析，用于进行疲劳判断。驾驶员的行为特征主要为面部特征，其他行为特征如手部运动变化一般很难用于疲劳检测^[8]。面部特征有眨眼、张嘴、面部颜色变化和点头等，其中最显著的特征为眨眼和张嘴动作，因此检测眨眼频率和张嘴时间是最有效的疲劳检测方法之一。该检测方法有检测成本低，方法简单容易实现，不影响正常驾驶，检测效率准确度高等优点，适用于各类车辆。

上述四种疲劳检测方法的检测对象和原理都有不同，下表总结了上述四种疲劳检测方法的差异：

2.1 国外研究现状

疲劳驾驶检测技术由国外学者在20世纪初最先提出^[9]，受限于当时的科技水平，最开始主要是从医学角度研究的，真正实质性的研究工作是从20世纪80年代美国国会批准交通部实施的驾驶服务时间（HOS）改革开始的。1996年美国Anlug，Wing 和 Kalliedth等人测量眼睛的开闭、眼睛的运动和眼睛的生理学表现形态来研究机动车驾驶员的疲劳问题，他们认为利用眼睛来判断疲劳是非常恰当的，并且也是行之有效的^[10]，这是一种目前比较好的预测在行车中驾驶人的警觉状态的方法。1999年4月美国联邦公路管理局的技术论坛上发表题为“Ocular Measures of Driver Alertness^[11]”的文章，首先提出把PERCLOS^[12](单位时间内眼睛闭合时间所占的百分率）作为预测机动车驾驶员驾驶疲劳的可行方法。华盛顿大学艺术科学系的心理学教授John Stem^[13]博士是研究眼睛部位运动状态与驾驶疲劳之间的关系的权威人士。他领导的由美国联邦公路管理局和汽车联合会资助的研究所,通过开发专用的照相机、脑电图仪和其他仪器来精确测量眼睛瞳孔的直径变化、眨眼频率和头部运动^[14]，以此来研究驾驶疲劳问题。其研究结果表明:一般情况下，人们眼睛闭合的时间在0.2-0.3秒之间，如果在驾驶时，眼睛闭合时间达到0.5-3秒时，则很容易出现事故。在此基础上，PERCLOS疲劳检测法成为公认的测评方法^[15]，世界各国科研机构纷纷展开基于PERCLOS法与面部识别技术结合的疲劳驾驶车载电子测量装置的开发研究工作,其中有代表性的有：

日本学者还研发了一套瞌睡预警系统简称 DDS（The Drowsy Driver DetectionSystem），该系统是基于PERCLOS准则的驾驶员疲劳状态检测，当驾驶员处于疲劳驾驶阶段时，系统检测出来后就会发出预警信号。该系统的工作原理为:该装置为一个芯片，需固定在驾驶员的前额处，利用半导体温差电偶使芯片时刻保持清凉的状态，以此来达到使驾驶员时刻保持清醒的目的。该装置的缺点是此清醒带的功能比较局限，只能说达到“提神”的作用，并不能起到预警的作用，而且该装置最大的缺点是需要固定在驾驶员的头部，大大影响了驾驶员的驾驶环境，因此该装置的实用性不强。

美国Attenti on Technologies公司研发了一套基于驾驶员生理信号特征变化的疲劳监测预警系统，取名为Driver Fatigue Monitor（DD850）。该系统的工作原理为:通过安装在车内的红外摄像头实时采集驾驶员的眼部信息，基于PERCLOS准则判断眼睛的闭合状态，以此来进行驾驶员的疲劳分析。该装置可以安装在仪表盘上，不影响驾驶环境，而且报警的敏感度和警报的音量可自行调节，缺点是该套系统只适用于晚上^[16]。通过研究疲劳程度与驾驶员脑电波之间的联系，Lal 与Craig设计了一套基于脑电波进行疲劳分析的算法。Lin等人在此基础上，采用了模糊神经网络记忆能量谱估计等算法对其进行了优化，进一步精确的实现疲劳检测。

美国ESP（Electronic Safety Products）公司开发一种检测汽车方向盘的装置SAM（Steering Attention Monitor），该装置主要是依靠安装在方向盘上的传感器来监测方向盘的转角。当系统检测到驾驶员长期没有对方向盘进行任何操作时，则该装置就会发出预警信号;当检测到驾驶员时而会转动方向盘时,则认为驾驶员此时处于清醒状态，警报会自动解除。

德国的一家相关机构研发了一种眼镜，在眼镜框里面嵌入了一个光电开关，在驾驶室内安装了灯泡和声音警报器，将光电开关与灯泡及声音警报器进行连接。当系统检测到驾驶员处于疲劳状态时，光电开关接通，点亮灯泡，用光刺激驾驶员使其清醒，若驾驶员还未清醒，则声音警报器开始工作，发出警报声；若驾驶员还是没有醒来，则汽车会进行强制停车，将危险控制在最小的范围内，保障人身安全^[17]。

日本研发了一套DAS2000型路面预警系统（The DAS2000 Road Alert System），该系统属于非接触类检测系统中的一种，通过采集车辆行驶的道路图像，对行车轨迹进行记录，将记录的行车轨迹与正常状态下的行车轨迹进行对比，由此来判断驾驶员是否处于正常驾驶状态。当汽车行驶轨迹偏离了白色行驶轨道，则系统会发出预警信号来提醒驾驶员进行修正。该套装置的优点是对汽车型号没有要求，普遍性好；缺点是当车辆行驶在乡间小路或者没有车道线的公路时，检测效果会受到极大的影响，效率低下。

2.2 国内研究现状

随着交通事故的频繁发生，威胁着人身安全以及财产的巨额损失，驾驶员疲劳检测也得到了国内学者的关注。国内很多高校以及研究院的资深人员对于疲劳检测的研究做了大量的实验，相对于国外学者的研究，基于驾驶员疲劳检测技术在国内要晚起步一些时间，但同样取得了优异的成果。近几年，随着国力的迅猛发展，计算机技术越来越成熟，基于驾驶员疲劳检测研究涉及到医学领域、计算机视觉领域以及生物学领域，实现了一种实时的、便携式的驾驶员疲劳检测系统。

深圳客运公司的技术人员周鹏研究出中国最早佩戴式疲劳报警装置，通过对人体生理学、神经学的研究，分析了驾驶员的疲劳起因，并提出应该消除驾驶员由于长时间驾驶导致的精神萎靡等严重性问题^[18]。周鹏研究的这套佩戴式装置，可以缓解驾驶员疲劳，促进大脑血液循环，使大脑处于一种活跃状态，从而让驾驶员处于一种安全驾驶的环境。

目前比较成型的是由清华大学和东南大学的几位博士组建的中国单片机公共实验室南京研发中心出来的gogo850是国内唯一已经商业化的疲劳驾驶预警系统，其原理和丰田十三代皇冠标配的瞌睡报警系统类似^[19]，主要检测驾驶员的眼睛开合情况，尤其增加了对瞳孔的识别，睁眼睡觉瞳孔很暗，即使有驾驶员睁眼睡觉也能被识别出，基于红外图像的处理使得产品在阳光下和黑暗里都能进行识别，系统还能对带各类眼镜的驾驶员进行识别^[20]，实用性很强。

比亚迪公司在最近推出的车型中都增加有疲劳驾驶预警系统，该系统利用驾驶员的面部特征、眼部信号和头部运动等推断驾驶员的疲劳状态，并进行预警和采取一些保护装置，为驾驶员提供主动智能的安全保障。

上海交通大学在驾驶人疲劳模拟的条件下，通过对驾驶人疲劳心电图（EGG)的采集，分析源于肌电图信号数据，评价司机的疲劳情况^[21]。中南大学研究设计了眼球跟踪系统，该系统通过搜集驾驶员眼睛信息，如眨眼频率、次数、时间等特征^[22]，进一步检测驾驶员疲劳。中国科学技术大学姚康等人研发了一种基于侧眼睛动的疲劳检测眼镜，利用眼镜从侧面采集眼部图像进行疲劳检测，有效避免了正面采集图像时移动性差的问题，使用场景更加丰富，适用于复杂的车内环境。

吴沫等人^[23][24]从司机-车-路角度出发，基于计算机视觉技术，开发了车辆行驶偏差报警装置，给出了人车路三者之间的关系。通过对神经网络输入、说话和疲劳性能的分析。施树明等人^[25][26]提取了司机的嘴部特征，得到驾驶员正常行为特征。

1. 总结

论文的主要工作是通过算法，实现了定位开车人脸位置、通过开车人肤色特征结合坐标投影算法快速计算面部表情变化过程中表现出来的数字特征，并在后文根据这些特征判断人脸面部动作。接下来关注张开、半闭合、闭合这三个情况嘴和眼的变化进行拍照，采集到有用的高度联系的数据,通过这些数据判断驾驶员是否出现呵欠及眼睛闭眼等动作，进而帮助建立判断模型和进行系统的设计。凭借检查到的开车人的局部图像完成开车人过累状态的判别,可以帮助开车人驾车，避免事故的发生。当设计过累开车预告过程时，需关注检测和过累开车自动化过程的创新，让它进一步符合系统监测和检验的新需求，满足系统对新时代社会的要求的高适应性和安全性。

1. 参考文献
2. 陈秀娟.全国汽车保有量达2.81亿辆[J].汽车观察,2021(01):7.

1. 驾驶员注意涣散检测技术研究[J]. 汪澎,刘志强,仲晶晶. 中国安全科学学报. 2020(07)
2. 敖邦乾,杨莎,令狐金卿,叶振环.基于级联神经网络疲劳驾驶检测系统设计[J/OL].系统仿真学报:1-9[2021-03-10].
3. 胡永盛. 基于人脸识别的驾驶员疲劳检测研究[D].上海交通大学,2017.
4. SAINI V. Driver Drowsiness Detection System and Techniques:A Review[J].International Journal of Computer Science and Information Technologies,2014
5. 葛小凤. 基于人眼检测的驾驶员疲劳检测算法研究[D].西华师范大学,2017.
6. 岳嘉瑜,薛兴乐,刘秀.基于生理状态的疲劳驾驶检测技术综述[J].科技创新导报,2020,17(10):254-256.
7. 黄皓. 基于驾驶操作及车辆状态的疲劳驾驶行为检测研究[D].东南大学,2016.
8. 徐忠帅. 基于面部特征的驾驶员疲劳检测研究[D].辽宁工业大学,2019.
9. 张灵聪,王正国,朱佩芳,尹志勇.汽车驾驶疲劳研究综述[J].人类工效学,2013(01):39-42.
10. Zhiwei Zhu,Qiang Ji. Eye and gaze tracking for interactive graphic display[J]. Machine Vision and Applications,2004,15(3).
11. 郑培,宋正河,周一鸣.基于PERCLOS的机动车驾驶员驾驶疲劳的识别算法[J].中国农业大学学报,2002(02):104-109.
12. Qiang Ji, Zhiwei Zhu and P. Lan, 'Real-time nonintrusive monitoring and prediction of driver fatigue,' in IEEE Transactions on Vehicular Technology, vol. 53, no. 4, pp. 1052-1068, July 2019, doi: 10.1109/TVT.2004.830974.
13. Ming-Hsuan Yang, D. J. Kriegman and N. Ahuja, 'Detecting faces in images: a survey,' in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 24, no. 1, pp. 34-58, Jan. 2017, doi: 10.1109/34.982883.
14. 戚浩祥. 基于人脸识别的驾驶员疲劳检测算法研究[D].河北工程大学,2019.
15. 王磊,吴晓娟,俞梦孙.驾驶疲劳/瞌睡检测方法的研究进展[J].生物医学工程学杂志,2017(01):245-248.
16. 姜俊金. 基于DSP驾驶员眼睛检测与跟踪技术研究[D].山东大学,2012.
17. 刘志强,汪旸.基于机器视觉的驾驶疲劳检测方法[J].中国制造业信息化,2016(03):63-66.
18. 向可. 仿人眼尺度自动选择理论和应用研究[D].浙江大学,2018.
19. 刘伟,袁修干.人的视觉-眼动系统的研究[J].人类工效学,2020(04):41-44.
20. 江水郎，基于视觉的驾驶员疲劳检测研究[D].上海：上海交通大学，2018.
21. 杨海燕,蒋新华,王雷.一种基于人脸序列模式的机车驾驶员疲劳检测方法[J].铁道学报,2020,34(05):53-58.
22. 吴沫. 基于计算机视觉的车道跑偏告警系统方法研究[D].国防科学技术大学,2015.
23. 吴沫,安向京,贺汉根.基于视觉的车道跑偏检测方法研究及仿真[J].中国图象图形学报,2017(01):110-115.
24. 施树明,金立生,王荣本,童兵亮.基于机器视觉的驾驶员嘴部状态检测方法[J].吉林大学学报(工学版),2004(02):232-236.
25. 储江伟,施树明,王荣本,郭烈,刘锐.视觉导航智能汽车试验平台总体设计[J].汽车工程,2004(02):214-219 204.

资料编号：[263722]

1． 前言

近年来，随着中国经济的快速发展和汽车制造业业技术的日益成熟，汽车保有量逐年增加，2020年汽车保有量达2.81亿辆^[1]，同时机动车驾驶人数达4.56亿人。汽车给我们生活提供方便的同时也产生了一系列问题，例如道路交通事故、环境污染等。2020年中国道路交通事故万人死亡人数为1.66人，较往年而言有所降低，但依旧是值得重视的问题。近年来中国交通事故发生数量、事故死亡人数、事故受伤人数及直接财产损失如下表所示：

您可能感兴趣的文章

• 集成式电磁悬架的试验台架设计文献综述
• 集成式电磁悬架用直线作动器的性能仿真文献综述
• 分布式驱动半物理仿真实验平台电子系统设计文献综述
• 分布式驱动半物理仿真实验平台机械设计文献综述
• (卓工)汽车横纵向动力学建模及操纵稳定性仿真文献综述
• 发动机电磁驱动气门的测试技术研究文献综述
• eClutch电控离合器滚珠丝杠驱动系统设计文献综述
• eClutch电控离合器滚珠丝杠控制系统总体设计文献综述
• 电动客车车身系统设计文献综述
• 电动客车悬架系统设计文献综述