按表情与头部状态识别算法开发疲劳驾驶检测系统

摘 要

　　随着汽车保有量的增加和人们生活节奏的加快，因驾驶者疲劳而引发的交通事故屡屡发生。我们应该认识到，疲劳驾驶所带来的严重后果并不亚于酒驾，它是交通安全的巨大隐患，严重威胁着社会财产与生命安全。所以研究可靠且有效的疲劳驾驶检测技术，能够提前预测和判断出驾驶者的疲劳状态，及时预警，并让车辆自动减速，做到防患于未然，从而可以避免交通事故的发生。

　　本文通过研究目前国内外关于疲劳驾驶检测技术的各类方法，总结其优势与不足。考虑到部分驾驶者存在佩戴眼镜的情况，提出基于眼睛、嘴部与头部状态相结合的方法识别疲劳状态。主要内容包括以下几部分：

　　1.视频图像预处理。驾驶者的面部区域在行车过程中会受到不同光照的影响，同时由于视频图像在获取与传输过程中会产生噪声与模糊。因此本文预先对图像进行滤波去噪和光照均衡处理，保障人脸区域的准确检测。

　　2.人脸检测与运动目标跟踪。在综合分析比较了各类人脸检测方法之后，本文采用基于 Adaboost 算法的人脸分类器检测视频图像中驾驶员的面部区域。

　　该方法通过 Haar-Like 特征与积分图像法迭代训练人脸分类器。与传统的基于肤色或模板匹配的人脸检测方法相比，其检测效率更高、准确性更好。基于人脸检测的结果，采用粒子滤波运动目标跟踪算法实时追踪驾驶员的面部目标区域。

　　3.眼睛检测与状态识别。首先，利用面部器官的几何分布规则粗略分割眼部的候选区域。其次，基于大律法对双眼区域进行图像自适应二值化。通过垂直积分投影并计算连通区域个数，判断驾驶者是否佩戴眼镜。最后，分两种情况选择对应的算法识别睁眼或闭眼状态。如果驾驶员佩戴眼镜，则提出基于局部直方图统计特征的算法识别眼部状态；如果驾驶员未佩戴眼镜，则采取基于Adaboost 算法的人眼分类器直接定位眼睛，对单眼区域二值化后提取最大矩形并得到眼睛的近似张角，由阈值判断眼睛睁开或闭合状态。

　　4.嘴部检测与状态识别。嘴部相对于人脸其他区域来说具有特殊的颜色与亮度信息。本文为了简化计算、提高检测效率，首先根据嘴部在面部的分布位置，粗定位嘴部候选区。其次二值化获得嘴部面积，利用 Sobel 边缘检测法提取嘴部边缘获得嘴部周长。最后计算似圆度，识别嘴部张开或闭合状态。

　　5.头部状态识别。人在打瞌睡时，头部会出现突发性的上仰、下沉或规律性的上下往复运动。这部分主要利用已经定位到的眼睛与嘴部中心点位置信息，6.疲劳状态判断。该过程利用持续闭眼时间、眨眼频率、PERCLOS 参数、打哈欠持续时间、打哈欠次数和点头频率等指标综合判断驾驶者是否瞌睡。最后根据疲劳状态各等级对应的面部表情行为特征，构建疲劳驾驶检测系统流程图，当检测到疲劳状态时，及时预警并让机动车自动减速。实验中对 4 组模拟驾驶场景下的视频图像进行检测，结果表明本文疲劳驾驶检测算法的检测效率较高，准确性较好，且满足系统对于实时性的要求。

　　关键词：疲劳检测，眼镜判断，自适应，粒子滤波，直方图局部特征

Abstract

　　With the increase of vehicle holdings and the acceleration of living rhythm, traffic accidents due to the driver fatigue were frequently happened. We should pay attention to the serious consequences caused by drowsy driving as well as drunk driving. It is a great hidden trouble of traffic safety and an important issue that threatens the safety of people's life and property. Therefore, it is necessary and important to research on a reliable and effective technology of fatigue driving detection. The fatigue detection system can make early warning and deceleration through forecast and judgment of driver’s drowsiness in advance to avoid traffic accidents.

　　This paper has summarized the advantages and disadvantages of the different approaches of fatigue driving detection in domestic and overseas. Considering the situation of wearing glasses, the paper presents a comprehensive method based on eyes, mouth and the track of head to identify the fatigue state.The main contributions are as follows:

　　1. Video image pre-processing. The region of driver’s face will be affected by different illumination when driving. And the noise and blurring may generate from the process of acquisition and transmission. So this article makes denoising filter and illumination equilibrium for image in advance to insure the accuracy of face detection.

　　2. After the comprehensive analysis and comparison of different method on face detection, the paper adopts face detection technology which based on Adaboost algorithm to locate the driver’s facial area. It utilizes Haar-Like features and integral image to train the facial classifier iteratively. Compared with the method based on skin color or template, this Adaboost classifier can detect with high efficiency and accuracy. We use the particle filter to track the region of moving target in real time.

　　3. Eyes detection and state recognization. First, the candidate area of the eye is roughly divided by the geometric distribution rule of the facial organ. Second, an adaptive binarization method called OTSU is used. According to vertical integral projection and the number of connected domain, it can judge whether the driver wear glasses or not. Finally, it has two ways to identify the state of eyes(open/closed). It chooses the method of histogram’s local statistical features to recognize eyes state when driver wearing glasses. Getting eyes region with eyes’ classifier based on Adaboost algorithm when not wearing glasses. Then, this paper binarize the eyes’ area，extract the largest rectangle from one eye and calculate the approximate angle of eye. Judge the state of eye whether open or not by threshold value.

　　4. Mouth detection and state recognization. Mouth has special color and brightness information compared with the other areas of face. In order to simplify the calculation and increase the detection rate, we choose a candidate area of mouth according to the geometric distribution rules of facial organs. Extracting mouth edge with Sobel edge detection. Computing roundness e to identify the state of mouth. This method has rotation invariance.

　　5. The detection of head motion locus. The head will nod when people in the situation of drowsy. This article utilizes the center position of eyes and mouth which are located in previous section to identify the head status.

　　6. Fatigue judging. In this section, the duration time, blink frequency, PERCLOS parameter, yawning duration and times, nod frequency had been defined and taken to detect drowsiness and fatigue synthetically. According to the different level of fatigue on facial expression, this paper builds a fatigue detection flow chart. The system will warn and decelerate the vehicle automatically when detecting fatigue. We took four groups of videos which simulate driving situation to testing. The results show that the fatigue detection algorithm is more efficient and accurate,and satisfies the requirement of real-time system.

　　Keywords：Fatigue detection,Glasses judging,Self-adaption,Particle filter,Local histogram features

　　多年来，因疲劳驾驶而导致的交通事故频频发生。疲劳驾驶已经成为造成交通事故的第二大诱因。研究显示，睡眠不足对驾驶员的影响近似于酒后驾车[1],存在很大的安全隐患。根据 2005-2011 年我国道路交通事故统计数据可知[2]，仅2011 年我国因疲劳驾驶而导致的交通事故死亡人数超过 1000 人，造成的经济损失达到近 5000 万元。驾驶员疲劳与发生交通事故的 Pearson 相关性达到 99%。

　　美国国家公路交通安全管理局统计，美国每年因瞌睡导致约 10 万起交通事故，造成人身伤害的交通事故占 71%，其中有 1500 起事故直接导致死亡。据德国保险公司统计，25%左右的交通事故是因疲劳驾驶引起的[3]。法国警察总署统计20.6%的交通事故是由瞌睡导致的[4]。一项针对美国 1.03 亿人的调查结果显示，有超过三分之一的驾驶者在开车过程中出现过打瞌睡的现象。

　　导致驾驶员出现疲劳现象的主要因素有：睡眠质量差、长时间开车、服用了带有镇痛或安眠的药物、饮用了含有酒精成分的饮料等。这些因素均会引起驾驶员瞌睡困乏，使身体的感知机能弱化，出现视线模糊、注意范围变小、反应时间明显延长、动作不协调等现象。驾驶者进入疲劳状态时，动作迟缓、反应不及时，尤其是在进入重度疲劳时，驾驶员甚至会忘记操控车辆，非常容易发生撞击、追尾等交通事故，后果不堪设想。疲劳驾驶不仅会造成一定的经济财产损失，威胁社会公共交通安全，更会导致车内人员伤亡，危害自身与他人的生命安全，造成巨大的精神伤害。

　　当驾驶员感到疲劳时，单纯依靠功能饮料、吹冷气或者大声播放音乐、同伴随行聊天和监督等方式来克服疲劳的效果并不显着。如何能够提前预测驾驶员的疲劳状态，从而避免交通事故的发生，已经成为目前在疲劳驾驶检测技术研究领域中的热点与难点。由于根据脑电、心电和脉搏等生理信号监测疲劳状态需在驾驶员身上配备接触装置，这会妨碍驾驶员的操作。而基于车辆行驶轨迹的疲劳检测方法对道路标线的要求较高。所以考虑非接触式的方法，通过研究数字视频图像处理与识别技术，利用人脸表情和头部运动信息检测驾驶员的疲劳状态具有一定的可行性。

　　综上所述，通过研究一种可靠且有效的疲劳驾驶检测算法与系统，预先识别出驾驶员的疲劳状态，及时预警并使车辆自动减速，可以降低安全风险，尽可能避免因疲劳驾驶而发生的交通事故，这对保障人们的生命和财产安全具有非常重要的意义。

　　近年来随着人们安全意识的增强和科研水平的提高，疲劳驾驶检测技术因其对预防交通事故、降低道路安全风险具有积极作用，所以受到国内外研究者的广泛关注和深入研究，并取得不错的效果。目前疲劳驾驶检测技术主要包括三类，分别为基于生理指标的疲劳检测方法、基于操作行为和行车轨迹的疲劳检测方法和基于机器视觉的疲劳检测方法[5]。

　　（1）基于生理指标的疲劳检测方法生理指标检测法主要应用心电图(ECG)、脑电图(EEG)和脉搏等生理信号特征，让驾驶员佩戴接触式的装置实时测量人体生理参数。例如 ErikaAbe，KoichiFujiwara 等通过对 27 名实验对象的心电图进行心率变化分析，结合多元统计过程控制原理，提前预测瞌睡的发生[6]。Aihua Zhang 等发现在瞌睡状态下从脑电信号中提取出的能量特征明显升高而样本熵明显降低的现象，利用该特性可以反映出脑部的活动状态，判断是否疲劳[7]。此类方法虽然准确度高，但是需要穿戴检测设备，会在一定程度上妨碍驾驶操作，因此应用范围并不十分广泛。

　　（2）基于操作行为和行车轨迹的疲劳检测方法该类方法主要分析车辆的方向盘转动、踏板操作和行车轨迹等特征，判断驾驶员是否疲劳。当驾驶者打瞌睡时，往往会因神经放松而导致对车辆的操控能力减弱，比如方向盘长时间未被修正等。例如将脑电图信号和对应的方向盘操纵数据相结合检测驾驶员的疲劳状态[8]。另外一种方法是通过传感器测量手对方向盘的握力，判断驾驶员是否疲劳。当检测到握力减弱，说明驾驶员可能出现疲劳状态。华盛顿州立大学波坎分校的研究人员发现，通过分析方向盘的转动情况并预测行车轨迹可以判断司机是否处于疲劳状态。当前不少汽车厂商也借助摄像头监测系统监测车辆是否漂移出车道，借此判断司机是否精神涣散。

　　但是这种系统既繁琐又昂贵，而且对车道线的要求较高。例如在被冰雪覆盖或车道标记褪色的道路上，摄像头监测系统将会失效。这类方法虽不妨碍驾驶操作，能达到一定检测效果。但根据每个人驾车习惯与行车环境的不同，检测的鲁棒性会受到影响。

　　（3）基于机器视觉的疲劳检测方法此类方法通过图像传感器采集人脸图像，利用图像识别与机器视觉技术分析面部表情，计算人眼的眨眼时间、眨眼频率、嘴部打哈欠频率以及点头频率等指标，检测驾驶员疲劳并发出预警。例如利用人的眼睛被红外光源照射时的红外效应检测眼睛位置，分析眼睛闭合程度，判断是否疲劳；Vural E 等通过机器学习训练分类器，对打哈欠、眨眼等表情进行识别，判断驾驶员的疲劳状态[9]；王豪荣等定位嘴部完整轮廓后使用 Harris 角点检测嘴角并校正方向，通过计算嘴部张开度和张嘴的持续时间判断驾驶员是否疲劳[10]；熊池亮等对压缩感知算法进行研究，利用稀疏矩阵提取人脸特征，并使用改进的 AAM（ActiveAppearance Model）算法实现人眼轮廓定位，判断疲劳状态[11]；Masrullizam MatIbrahim 等利用复合 LBP 纹理特征判断嘴部是否有遮挡，并计算嘴部图像二值化后高度与嘴部感兴趣区域高度的比值，设定阈值判断打哈欠情况[12]；基于嘴部内轮廓角点检测与曲线拟合的哈欠检测方法。对打哈欠状态进行判决[13]。

　　这些方法虽均能达到一定的检测效果，但大多未考虑到驾驶员戴眼镜的情况，且一般仅针对眼睛或嘴部单一部位进行检测与识别。本文将以非接触的方式，基于图像处理与面部信息分析的方法，首先对驾驶员是否佩戴眼镜进行判断，分两种情况识别眼睛状态，并检测嘴部与头部状态，综合分析驾驶员疲劳时的面部和头部表现特征，识别疲劳状态，保证系统的检测效率，提高准确率，降低误报和漏报的可能性。

　　在疲劳驾驶检测方法的研究中存在较多难题，包括不同光照影响、驾驶员配戴眼镜情况下眼睛的检测与状态识别、多部位疲劳信息融合等问题。本文通过研究图像滤波去噪、光照均衡、人脸检测、眼睛、嘴部与头部目标定位和跟踪、特征提取、疲劳状态识别等方面的算法，对驾驶员进行实时准确的疲劳检测。研究的主要包括：

　　第 1 章，绪论。说明基于表情与头部信息的疲劳驾驶检测算法的研究背景与意义，阐述国内外疲劳检测技术的研究现状以及各类方法的优点与劣势。分析在利用面部表情与头部运动状态进行疲劳检测的过程中存在哪些难点，明确本文的研究方向与方法。

　　第 2 章，视频图像预处理。分析并对比传统的均值与中值滤波、高斯模板滤波方法的去噪平滑效果。最后选择采用自适应中值滤波算法对采集到的驾驶室内的视频图像进行去噪滤波处理，并选取自适应阈值光照均衡法对偏暗和偏亮的视频图像进行光照均衡处理，以降低噪声和光线因素对图像识别产生的不良影响。

　　第 3 章，首先简要阐述了人脸检测技术的不同方法。在综合对比各类人脸检测方法之后，采用基于 Adaboost 算法的人脸分类器定位视频图像中驾驶员的人脸区域。通过 Haar-Like 特征与积分图像法，提高人脸检测的效率和正确率；其次介绍了运动目标跟踪的方法，本文重点研究粒子滤波运动目标跟踪算法的基本原理与实现方法。最后通过实验仿真对人脸、眼睛和嘴部的运动目标进行跟踪验证，得到的跟踪效果较好。

　　第 4 章，（1）眼睛状态识别。利用面部器官几何分布规则粗略检测眼睛区域。基于大律法对双眼区域进行自适应二值化。利用垂直积分投影法判断驾驶员是否佩戴眼镜，分两种情况识别眼睛状态，若驾驶员佩戴眼镜，则采用基于直方图局部统计特征的算法识别眼睛状态；若驾驶员未佩戴眼镜，则利用基于Adaboost 算法的人眼分类器检测眼睛区域。阈值二值化后计算眼睛的近似张角，判断眼睛的睁闭状态。在驾驶员佩戴眼睛时，上述方法可以提高检测眼部睁闭状态的准确率。（2）嘴部状态识别。根据嘴部在面部中的几何分布规则，粗定位嘴部区域，设定阈值进行二值化，计算嘴部区域面积。利用 Sobel 边缘检测法提取嘴部边缘得到周长。计算似圆度，如果似圆度超过阈值，则判断嘴部处于张开状态，反之判断嘴部为闭合状态。该方法能够提高判断嘴部张闭状态的准确性。

　　第 5 章，疲劳状态识别。该过程利用持续闭眼时间、眨眼频率、PERCLOS指标、打哈欠持续时间、打哈欠次数和点头频率，建立疲劳驾驶检测系统流程。综合判断驾驶员是否疲劳，并及时预警。

　　第 6 章，总结本文的研究内容，分析疲劳检测算法的缺点与不足，提出改进和完善措施。

　　按表情与头部状态识别算法开发疲劳驾驶检测系统实现：

基于Adaboost 算法的人脸检测结果

夜间面部跟踪效果图

白天面部跟踪效果图

不同光照下双眼区域检测结果

基于大律法的双眼图像二值化图

双眼垂直积分投影法判断眼镜结果图

嘴部闭合与张开粗检结果图

一次眨眼过程图示

目 录

　　第 1 章 绪 论
　　　　1.1 疲劳驾驶检测的研究背景与意义
　　　　1.2 疲劳检测的研究方法与现状
　　　　1.3 本文的研究内容及结构安排
　　第 2 章 视频图像预处理
　　　　2.1 图像滤波去噪
　　　　　　2.1.1 传统滤波算法的分析与比较
　　　　　　2.1.2 基于自适应中值滤波的图像去噪
　　　　2.2 基于自适应阈值的图像光照均衡
　　　　2.3 图像预处理的实验结果分析
　　　　2.4 本章小结
　　第 3 章 人脸区域检测与目标跟踪
　　　　3.1 人脸检测方法分类
　　　　3.2 基于 Adaboost 分类器的人脸检测算法的研究
　　　　3.3 人脸检测实验结果分析
　　　　3.4 基于粒子滤波的面部目标跟踪
　　　　　　3.4.1 运动目标跟踪算法分类
　　　　　　3.4.2 结合 Adaboost 与粒子滤波算法的面部目标跟踪
　　　　　　3.4.3 面部跟踪实验结果与分析
　　　　3.5 本章小结
　　第 4 章 眼睛与嘴部状态识别
　　　　4.1 人眼状态识别
　　　　　　4.1.1 基于改进的几何分布规则的双眼区域粗定位
　　　　　　4.1.2 基于大律法的眼部自适应二值化
　　　　　　4.1.3 基于积分投影法的眼镜判断
　　　　　　4.1.4 基于近似张角与直方图局部特征的眼睛状态判断
　　　　4.2 嘴部状态识别
　　　　　　4.2.1 常用的嘴部状态识别方法介绍
　　　　　　4.2.2 基于似圆度与近似张角的嘴部状态识别
　　　　4.3 本章小结
　　第 5 章 驾驶员疲劳状态识别
　　　　5.1 多指标融合的眼部疲劳判断
　　　　5.2 嘴部疲劳判断
　　　　5.3 点头瞌睡的疲劳判断
　　　　5.4 疲劳识别流程与实验分析
　　　　5.5 本章小结
　　第 6 章 总结与展望
　　　　6.1 总结
　　　　6.2 展望
　　参考文献
　　作者简介及科研成果
　　致 谢

（如您需要查看本篇毕业设计全文，请您联系客服索取）