表情与头部状态识别技术开发疲劳驾驶检测算法

摘 要

　　基于表情与头部状态识别的疲劳驾驶检测算法的研究随着汽车保有量的增加和人们生活节奏的加快，因驾驶者疲劳而引发的交通事故屡屡发生。我们应该认识到，疲劳驾驶所带来的严重后果并不亚于酒驾，它是交通安全的巨大隐患，严重威胁着社会财产与生命安全。所以研究可靠且有效的疲劳驾驶检测技术，能够提前预测和判断出驾驶者的疲劳状态，及时预警，并让车辆自动减速，做到防患于未然，从而可以避免交通事故的发生。

　　本文通过研究目前国内外关于疲劳驾驶检测技术的各类方法，总结其优势与不足。考虑到部分驾驶者存在佩戴眼镜的情况，提出基于眼睛、嘴部与头部状态相结合的方法识别疲劳状态。主要内容包括以下几部分：

　　1.视频图像预处理。驾驶者的面部区域在行车过程中会受到不同光照的影响，同时由于视频图像在获取与传输过程中会产生噪声与模糊。因此本文预先对图像进行滤波去噪和光照均衡处理，保障人脸区域的准确检测。

　　2.人脸检测与运动目标跟踪。在综合分析比较了各类人脸检测方法之后，本文采用基于 Adaboost 算法的人脸分类器检测视频图像中驾驶员的面部区域。

　　该方法通过 Haar-Like 特征与积分图像法迭代训练人脸分类器。与传统的基于肤色或模板匹配的人脸检测方法相比，其检测效率更高、准确性更好。基于人脸检测的结果，采用粒子滤波运动目标跟踪算法实时追踪驾驶员的面部目标区域。

　　3.眼睛检测与状态识别。首先，利用面部器官的几何分布规则粗略分割眼部的候选区域。其次，基于大律法对双眼区域进行图像自适应二值化。通过垂直积分投影并计算连通区域个数，判断驾驶者是否佩戴眼镜。最后，分两种情况选择对应的算法识别睁眼或闭眼状态。如果驾驶员佩戴眼镜，则提出基于局部直方图统计特征的算法识别眼部状态；如果驾驶员未佩戴眼镜，则采取基于Adaboost 算法的人眼分类器直接定位眼睛，对单眼区域二值化后提取最大矩形并得到眼睛的近似张角，由阈值判断眼睛睁开或闭合状态。

　　4.嘴部检测与状态识别。嘴部相对于人脸其他区域来说具有特殊的颜色与亮度信息。本文为了简化计算、提高检测效率，首先根据嘴部在面部的分布位置，粗定位嘴部候选区。其次二值化获得嘴部面积，利用 Sobel 边缘检测法提取嘴部边缘获得嘴部周长。最后计算似圆度，识别嘴部张开或闭合状态。

　　5.头部状态识别。人在打瞌睡时，头部会出现突发性的上仰、下沉或规律性的上下往复运动。这部分主要利用已经定位到的眼睛与嘴部中心点位置信息，6.疲劳状态判断。该过程利用持续闭眼时间、眨眼频率、PERCLOS 参数、打哈欠持续时间、打哈欠次数和点头频率等指标综合判断驾驶者是否瞌睡。最后根据疲劳状态各等级对应的面部表情行为特征，构建疲劳驾驶检测系统流程图，当检测到疲劳状态时，及时预警并让机动车自动减速。实验中对 4 组模拟驾驶场景下的视频图像进行检测，结果表明本文疲劳驾驶检测算法的检测效率较高，准确性较好，且满足系统对于实时性的要求。

　　关键词：疲劳检测，眼镜判断，自适应，粒子滤波，直方图局部特征

Abstract

　　With the increase of vehicle holdings and the acceleration of living rhythm,traffic accidents due to the driver fatigue were frequently happened. We should pay attention to the serious consequences caused by drowsy driving as well as drunk driving. It is a great hidden trouble of traffic safety and an important issue that threatens the safety of people's life and property. Therefore, it is necessary and important to research on a reliable and effective technology of fatigue driving detection. The fatigue detection system can make early warning and deceleration through forecast and judgment of driver’s drowsiness in advance to avoid traffic accidents.

　　This paper has summarized the advantages and disadvantages of the different approaches of fatigue driving detection in domestic and overseas. Considering the situation of wearing glasses, the paper presents a comprehensive method based on eyes, mouth and the track of head to identify the fatigue state.The main contributions are as follows:

　　1. Video image pre-processing. The region of driver’s face will be affected by different illumination when driving. And the noise and blurring may generate from the process of acquisition and transmission. So this article makes denoising filter and illumination equilibrium for image in advance to insure the accuracy of face detection.

　　2. After the comprehensive analysis and comparison of different method on face detection, the paper adopts face detection technology which based on Adaboost algorithm to locate the driver’s facial area. It utilizes Haar-Like features and integral image to train the facial classifier iteratively. Compared with the method based on skin color or template, this Adaboost classifier can detect with high efficiency and accuracy. We use the particle filter to track the region of moving target in real time.

　　3. Eyes detection and state recognization. First, the candidate area of the eye is roughly divided by the geometric distribution rule of the facial organ. Second, an adaptive binarization method called OTSU is used. According to vertical integral projection and the number of connected domain, it can judge whether the driver wear glasses or not. Finally, it has two ways to identify the state of eyes(open/closed). It chooses the method of histogram’s local statistical features to recognize eyes state when driver wearing glasses. Getting eyes region with eyes’ classifier based on Adaboost algorithm when not wearing glasses. Then, this paper binarize the eyes’ area，extract the largest rectangle from one eye and calculate the approximate angle of eye. Judge the state of eye whether open or not by threshold value.

　　4. Mouth detection and state recognization. Mouth has special color and brightness information compared with the other areas of face. In order to simplify the calculation and increase the detection rate, we choose a candidate area of mouth according to the geometric distribution rules of facial organs. Extracting mouth edge with Sobel edge detection. Computing roundness e to identify the state of mouth.This method has rotation invariance.

　　5. The detection of head motion locus. The head will nod when people in the situation of drowsy. This article utilizes the center position of eyes and mouth which are located in previous section to identify the head status.

　　6. Fatigue judging. In this section, the duration time, blink frequency, PERCLOS parameter, yawning duration and times, nod frequency had been defined and taken to detect drowsiness and fatigue synthetically. According to the different level of fatigue on facial expression, this paper builds a fatigue detection flow chart.The system will warn and decelerate the vehicle automatically when detecting fatigue. We took four groups of videos which simulate driving situation to testing.The results show that the fatigue detection algorithm is more efficient and accurate,and satisfies the requirement of real-time system..

　　Keywords:Fatigue detection,Glasses judging,Self-adaption,Particle filter,Local histogram features

　　多年来，因疲劳驾驶而导致的交通事故频频发生。疲劳驾驶已经成为造成交通事故的第二大诱因。研究显示，睡眠不足对驾驶员的影响近似于酒后驾车[1],存在很大的安全隐患。根据 2005-2011 年我国道路交通事故统计数据可知[2]，仅2011 年我国因疲劳驾驶而导致的交通事故死亡人数超过 1000 人，造成的经济损失达到近 5000 万元。驾驶员疲劳与发生交通事故的 Pearson 相关性达到 99%。

　　美国国家公路交通安全管理局统计，美国每年因瞌睡导致约 10 万起交通事故，造成人身伤害的交通事故占 71%，其中有 1500 起事故直接导致死亡。据德国保险公司统计，25%左右的交通事故是因疲劳驾驶引起的[3]。法国警察总署统计20.6%的交通事故是由瞌睡导致的[4]。一项针对美国 1.03 亿人的调查结果显示，有超过三分之一的驾驶者在开车过程中出现过打瞌睡的现象。

　　导致驾驶员出现疲劳现象的主要因素有：睡眠质量差、长时间开车、服用了带有镇痛或安眠的药物、饮用了含有酒精成分的饮料等。这些因素均会引起驾驶员瞌睡困乏，使身体的感知机能弱化，出现视线模糊、注意范围变小、反应时间明显延长、动作不协调等现象。驾驶者进入疲劳状态时，动作迟缓、反应不及时，尤其是在进入重度疲劳时，驾驶员甚至会忘记操控车辆，非常容易发生撞击、追尾等交通事故，后果不堪设想。疲劳驾驶不仅会造成一定的经济财产损失，威胁社会公共交通安全，更会导致车内人员伤亡，危害自身与他人的生命安全，造成巨大的精神伤害。

　　当驾驶员感到疲劳时，单纯依靠功能饮料、吹冷气或者大声播放音乐、同伴随行聊天和监督等方式来克服疲劳的效果并不显着。如何能够提前预测驾驶员的疲劳状态，从而避免交通事故的发生，已经成为目前在疲劳驾驶检测技术研究领域中的热点与难点。由于根据脑电、心电和脉搏等生理信号监测疲劳状态需在驾驶员身上配备接触装置，这会妨碍驾驶员的操作。而基于车辆行驶轨迹的疲劳检测方法对道路标线的要求较高。所以考虑非接触式的方法，通过研究数字视频图像处理与识别技术，利用人脸表情和头部运动信息检测驾驶员的疲劳状态具有一定的可行性。

　　综上所述，通过研究一种可靠且有效的疲劳驾驶检测算法与系统，预先识别出驾驶员的疲劳状态，及时预警并使车辆自动减速，可以降低安全风险，尽可能避免因疲劳驾驶而发生的交通事故，这对保障人们的生命和财产安全具有非常重要的意义。

　　近年来随着人们安全意识的增强和科研水平的提高，疲劳驾驶检测技术因其对预防交通事故、降低道路安全风险具有积极作用，所以受到国内外研究者的广泛关注和深入研究，并取得不错的效果。目前疲劳驾驶检测技术主要包括三类，分别为基于生理指标的疲劳检测方法、基于操作行为和行车轨迹的疲劳检测方法和基于机器视觉的疲劳检测方法[5]。

　　生理指标检测法主要应用心电图(ECG)、脑电图(EEG)和脉搏等生理信号特征，让驾驶员佩戴接触式的装置实时测量人体生理参数。例如 ErikaAbe，KoichiFujiwara 等通过对 27 名实验对象的心电图进行心率变化分析，结合多元统计过程控制原理，提前预测瞌睡的发生[6]。Aihua Zhang 等发现在瞌睡状态下从脑电信号中提取出的能量特征明显升高而样本熵明显降低的现象，利用该特性可以反映出脑部的活动状态，判断是否疲劳[7]。此类方法虽然准确度高，但是需要穿戴检测设备，会在一定程度上妨碍驾驶操作，因此应用范围并不十分广泛。

日间戴眼镜时眼部检测结果

夜间无眼镜时眼部检测结果

无眼镜自适应二值化效果图

佩戴眼镜自适应二值化效果图

双眼垂直积分投影法判断眼镜结果图

目 录

　　第 1 章 绪 论
　　　　1.1 疲劳驾驶检测的研究背景与意义
　　　　1.2 疲劳检测的研究方法与现状
　　　　1.3 本文的研究内容及结构安排
　　第 2 章 视频图像预处理
　　　　2.1 图像滤波去噪
　　　　　　2.1.1 传统滤波算法的分析与比较
　　　　　　2.1.2 基于自适应中值滤波的图像去噪
　　　　2.2 基于自适应阈值的图像光照均衡
　　　　2.3 图像预处理的实验结果分析
　　　　2.4 本章小结
　　第 3 章 人脸区域检测与目标跟踪
　　　　3.1 人脸检测方法分类
　　　　3.2 基于 Adaboost 分类器的人脸检测算法的研究
　　　　3.3 人脸检测实验结果分析
　　　　3.4 基于粒子滤波的面部目标跟踪
　　　　　　3.4.1 运动目标跟踪算法分类
　　　　　　3.4.2 结合 Adaboost 与粒子滤波算法的面部目标跟踪
　　　　　　3.4.3 面部跟踪实验结果与分析
　　　　3.5 本章小结
　　第 4 章 眼睛与嘴部状态识别
　　　　4.1 人眼状态识别
　　　　　　4.1.1 基于改进的几何分布规则的双眼区域粗定位
　　　　　　4.1.2 基于大律法的眼部自适应二值化
　　　　　　4.1.3 基于积分投影法的眼镜判断
　　　　　　4.1.4 基于近似张角与直方图局部特征的眼睛状态判断
　　　　4.2 嘴部状态识别
　　　　　　4.2.1 常用的嘴部状态识别方法介绍
　　　　　　4.2.2 基于似圆度与近似张角的嘴部状态识别
　　　　4.3 本章小结
　　第 5 章 驾驶员疲劳状态识别
　　　　5.1 多指标融合的眼部疲劳判断
　　　　5.2 嘴部疲劳判断
　　　　5.3 点头瞌睡的疲劳判断
　　　　5.4 疲劳识别流程与实验分析
　　　　5.5 本章小结
　　第 6 章 总结与展望
　　　　6.1 总结
　　　　6.2 展望
　　参考文献
　　作者简介及科研成果
　　致 谢

（如您需要查看本篇毕业设计全文，请您联系客服索取）