安卓操作端单目手势识别识别技术开发

摘要

　　目前,人机交互技术日益普及,己经被广泛应用于科研、生产、生活等领域。基于单目视觉的手势识别技术是人机交互的重要组成部分,该技术主要涉及手势的分割、特征的提取、手势的识别与跟踪等多个关键环节。但是手势识别在实际应用中容易受到光照变化、复杂背景的干扰,另外,考虑到交互实时性要求,算法的复杂度受到一定限制,这些都让单目动态手势识别技术成为人机交互领域中的难点。因此,本文提出低运算量的改进手势识别算法,并通过研宂安卓整体架构,将手势识别实际应用于安卓平台,验证其有效性和实用性。安卓平台下的单目手势识别研究工作包括以下几个方面:

　　1、在手势分割方面,对肤色提取法和帧间差分法的原理及缺陷进行深入研究,釆用基于色彩直方图的自适应手部识别图像分割方法,通过获取肤色动态信息减小由周围环境和光照产生的噪声。与传统肤色分割相比,本文方法识别提取到的手部图像干扰信息更少。

　　2、在特征提取方面,分析现有手部轮廓特征提取方法,针对其在复杂背景下实现效果不佳的问题,提出一种指尖-指间手部轮廓识别法。通过分割图像进行平滑处理、形态学处理和图像轮廓提取处理后,利用手指顶端和手指底端的曲率特征,在复杂背景中精确圈定手部范围,能够实现多种手势的识别。

　　3、在对动态手势跟踪的研究中,研宄现有手势跟踪技术,在深入分析Camshift手势跟踪算法的原理、实现及存在问题的基础上,提出历史运动矩阵方法改进Camshift算法,同时与自适应手部提取方法结合,提高复杂背景下手势跟踪精度。实验结果证明,在动态手部与面部有重合的情况下,本文算法的跟踪成功率较经典Camshift算法增加了　80%。

　　4、在动态手势识别方面,通过对手势动作的抽象、分析及手势动作向量定义,提出一种基于时间轴压缩的方向向量动态手势识别方法。在时间轴方向对轨迹向量进行衰减,记录时间轴方向向量判断动态手势轨迹,识别动态手势,该方法计算量小,实时性高,适于实际应用。

　　5、在安卓平台实现方面,本文在深入研究Android平台构架、JNI技术、Linux下的V412框架和Android下的Camera架构的基础上,完成了在Android下的摄像头驱动移植、OpenCV移植和手势识别算法的移植,完成了可辨别6种手势的安卓应用程序示例。

　　关键词:手势识别,历史运动矩阵,Camshift,时间轴压缩,Android

Abstract

　　Recently, as the increasing popularity of human-computer interaction technology it has been widely used in various fields such as scientific research, life and production, .etc. Gesture recognition technology based on monocular vision is one of the most important parts of human-computer interaction technology. It involves several key technologies such as gesture segmentation, feature extraction, tracking, gesture recognition and so on. In actual application, some factors such as illumination changes and complex background interference can affect the performances of gesture recognition algorithms easily. In addition, considering the requirements of real-time interactivity, the complexity of the algorithm is limited. These make the dynamic gesture recognition technology based on monocular vision be a difficult job in the field of human-computer interaction. This paper presents an improved gesture recognition algorithm with low computational load. And by studying the overall architecture of Android, gesture recognition is applied to the interaction of the Android platform to verify its validity and practicality. The research of monocular gesture recognition technology on Android platform includes the following aspects:

　　In terms of gesture segmentation, the paper deeply studies the principles, advantages and disadvantages of the skin color segmentation method and inter-frame difference method. In this paper, an adaptive hand identification image segmentation method based on color histogram is applied. The method reduces the noise that generated饰the surrounding environment and lighting by acquiring dynamic color information. Compared with the traditional color segmentation, the proposed method has less information interference when extracting the hand image.

　　In terms of gesture features extraction, the paper analyzes the existing hand contour feature extraction methods. A fingertip-fingers hand contour recognition method is proposed to solve the problem that currenthand contour feature extraction methods are ineffective in a complex background. Using the curvature characteristics of the top of finger and the bottom of the finger accurately delineate the hand range into the image which been smoothed a.iid extracted image contours. 'The method can identify a variety of gestures in the complex background.

　　In terms of the dynamic gesture tracking, the paper studies the existing gesture tracking technology and analyzes the Camshift gesture tracking algorithm principle, realization and existing problems. We propose an improved algorithm of Camshift based on the historical movement matrix. The method combines with the adaptive extraction of hand to improve the dynamic gesture tracking accuracy in complex background. Experimental results show that, in the hands and face in the dynamic overlap case, the success rate of the proposed algorithm increased by 80% compared to the classic Camshift algorithm.

　　In terms of the dynamic gesture recognition, through the abstract expression of gestures, the analysis of gestures and gestures vector definition, a dynamic gesture recogntion method based on time-axis compression direction vector is proposed. The vector of locus is attenuated in the direction of time axis. The method which records the time axis direction vector to judge the dynamic gesture trajectory and recognize the dynamic gesture, has a small computational load, and suits for practical applications.

　　In terms of Android platform realization, the paper deeply studies the Android platform architecture, JNT technology, V412 framework under Linux and Camera architecture under Android. The paper implements the camera driver under Android, OpenCV migration and dynamic gesture recognition algorithm under Android, and completes the Android application demo showing that identifying six kinds of gestures.

　　Key words: Gesture Recognition, Historical Movement Matrix, Camshift, Time Axis Compression, Android

　　随着计算机的普及，人机交互手段渐渐由键盘、鼠标等“以机器为中心”向语音、表情、肢体动作等“以人为中心”发展，使得人机交互更加自然。手势作为自然、符合人类习惯的交互手段，可以用于与聋哑人交流的辅助交互手段、对家电设备的控制、影音游戏的操作和政府及企业服务的交互设施，给人们生活带来了极大的便利。因此，手势识别技术一直受到专家和学者们的追捧。近几年移动智能终端，特别是安卓终端数量的迅猛增长，对应用于安卓的手势应用有着极大需求。

　　基于视觉的人机交互技术其优劣的最终评价标准是人的交互式体验，流畅的交互体验不仅依赖于算法的优化，也要求计算机硬件性能的提高。正是计算机计算能力的不断提升，自然、方便的手势识别应用才不是纸上谈兵。全球很多大型公司己经从事于开发手势控制机器的相关技术，并向商业领域推广。例如，微软、IBM等公司推出的Kinect, Flutter和Leap Motion体感控制器等，良好的手势控制体验受到消费者的普遍追捧。同样，近几年移动设备从开始的单核处理器、百兆主频、十兆内存的配置，发展到今天的四核处理器、2GHz主频、2GB内存的配置，移动设备硬件计算能力迅猛的提升让移动端手势识别应用成为可能。

　　然而，基于单目视觉的手势识别技术也存在其技术难点。外界的干扰极易影响手势提取与跟踪，干扰严重时甚至导致跟踪失败，而移动平台又不可避免的会在这种复杂背景中使用。另外考虑到交互的及时响应要求，识别算法不能过于复杂。

　　综上所述，基于视觉的手势识别及其在移动平台，特别是安卓平台的实现是一个具有广阔前景同时又极具挑战性的课题。本课题采用单目摄像头，充分考虑背景复杂性，对手势识别技术包括手势检测、手势分割、静态动态手势识别等进行研究，同时考虑到现有手势识别算法在运算能力相对低下的嵌入式设备上的实时性，提出低运算量的改进手势识别算法，并通过研究安卓整体架构，将手势识别实际应用于安卓平台交互中，验证其有效性和实用性。

　　国外，关于手势识别的研究，Volger和Metaxas等人使用位置跟踪器和视频捕获设备来获取手臂位置信息，对53个手语进行辨别，成功率为90%。Mohammed Waleed Kadous使用Power Glove采集手势，对95个离散的澳大利亚手语进行辨认，达到大约81%的准确率。Y. Li通过安装微软Kinect Xbox并检测手势轮廓及指尖信息，实现了对9种手势的实时识别。2012年，LeapMotion公司推出Leap新产品，在与USB链接后，它会创造出一个4立方英尺工作空间，在这个工作空间中10个手指的动作会被及时追踪，误差仅在1/100毫米以内。

　　国内，关于手势识别的研究，中国科学院、浙江大学、电子科技大学等高校和研究机构相继投入大量的人力物力对手势识别展开研究，近几年发展很快。吴江琴等人通过数据手套对手势进行训练实现识别，利用人工神经网络结合隐马尔科夫完成手语的识别，对于基础手语，成功率高达92%。之后吴江琴、高文等用两个手套和姿态跟踪器，实现辨别的手势词汇高达300个。随后，他们又采用多层识别器，实现了高达98%的识别成功率。祝远新等人则是提出了一种动态孤立手势识别技术，并进一步探索在复杂背景下的手势分割，利用动态时间规整算法对手势进行识别，识别率可达97%。高文教授带领其团队专注于手势识别的研究，在2000年开发出让聋哑人与正常社会的友好交流的HandTalker系统。2012年，康佳公司上市首款手势交互电视，随后TCL等公司也相继上市类似功能的电视机。

　　从目前的应用成果看，国内外基于数据手套的研究己经相当成熟，也实现了不错的用户体验效果，但基于视觉的手势识别的研究还不够成熟，尤其是基于单目视觉的手势识别，在实际应用中，面临着许多严峻的问题，如背景、光照对手势分割的影响，鲁棒的手势特征提取，实时性和识别率无法兼顾等问题。所以，得到一种稳定、低运算量的手势识别方法是现今人机交互的迫切需求，也是我们需要研究的方向。

安卓操作端单目手势识别识别技术开发：

Android下的Camera框架

程序示意图

程序演示示意图

目录

　　第一章 绪论
　　　　1.1 研究背景及意义
　　　　1.2 国内外研究现状
　　　　1.3 基于视觉的动态手势识别关键技术
　　　　　　1.3.1 手势分割
　　　　　　1.3.2 特征提取
　　　　　　1.3.3 手势跟踪
　　　　　　1.3.4 手势识别
　　　　1.4 面临的主要困难
　　　　1.5 研究内容及论文框架
　　第二章 复杂环境下的肤色分割方法
　　　　2.1 基于肤色模型的手部分割
　　　　　　2.1.1 色彩空间模型
　　　　　　2.1.2 肤色区域识别
　　　　2.2 帧间差分法
　　　　2.3 自适应肤色识别与分割
　　　　　　2.3.1 肤色模型色彩直方图
　　　　　　2.3.2 色彩直方图更新
　　　　　　2.3.3 肤色区域提取手部图像
　　　　2.4 本章小结
　　第三章 指尖一指间手部轮廓识别
　　　　3.1 手部轮廓识别概述
　　　　　　3.1.1 基于傅里叶描述子的手部轮廓识别
　　　　　　3.1.2 基于指尖一指间特征的轮廓识别
　　　　3.2 手部轮廓提取
　　　　　　3.2.1 图像平滑处理
　　　　　　3.2.2 形态学处理
　　　　　　3.2.3 图像轮廓的提取
　　　　3.3 指尖一指间手部轮廓识别的实现
　　　　3.4 仿真实验结果
　　　　3.5 本章小结
　　第四章 基于历史运动矩阵的Camshi手部跟踪
　　　　4.1 手势跟踪算法
　　　　　　4.1.1 Kalman滤波手势跟踪
　　　　　　4.1.2 光流法
　　　　　　4.1.3 粒子滤波手势跟踪算法
　　　　　　4.1.4 Camshift手势跟踪算法
　　　　4.2 Camshift手势跟踪的实现及问题分析
　　　　4.3 基于历史运动矩阵改进Camshift策略
　　　　　　4.3.1 历史运动矩阵
　　　　　　4.3.2 历史运动矩阵改进Camshift策略
　　　　4.4 仿真实验结果分析
　　　　　　4.4.1 算法精度对比
　　　　　　4.4.2 算法运行时间对比
　　　　4.5 本章小结
　　第五章 基于时间轴压缩的动态手势识别
　　　　5.1 动态手势识别概述
　　　　　　5.1.1 隐马尔科夫模型动态手势识别
　　　　　　5.1.2 基于动态时间规整的动态手势识别
　　　　　　5.1.3 基于时间轴压缩的动态手势识别
　　　　5.2 手势动作的抽象与分析
　　　　5.3 方向向量描述动态手势
　　　　　　5.3.1 手势动作向量
　　　　　　5.3.2 时间轴压缩
　　　　5.4 基于神经网络的手势动作判断
　　　　5.5 仿真实验结果
　　　　5.6 小结
　　第六章 手势识别在Android平台的实现和应用二
　　　　6.1 Android平台简介
　　　　　　6.1.1 Android发展历程
　　　　　　6.1.2 Android系统架构
　　　　　　6.1.3 Android JNI技术
　　　　6.2 摄像头驱动在Android中的移植
　　　　　　6.2.1 V4L2驱动架构
　　　　　　6.2.2 Android下的Camera框架
　　　　6.3 手势识别算法在Android中的移植
　　　　　　6.3.1 OpenCV的移植
　　　　　　6.3.2 手势识别算法的移植
　　　　6.4 手势识别在Android下的应用程序
　　　　　　6.4.1 手势识别的Android应用程序示例
　　　　　　6.4.2 Android下算法性能分析
　　　　6.5 本章小结
　　总结与展望
　　参考文献
　　致谢
　　个人简历
　　攻读硕士期间的研究成果及发表的学术论文

（如您需要查看本篇毕业设计全文，请您联系客服索取）