视频图像采集与处理系统开发

摘要

　　随着科学技术的快速发展，设备智能化已经涉及到社会的每个角落，如何用相对低廉的成本完成既定的目标是一个非常重要的课题。各类监控系统在各种领域里的应用迅速发展起来，如何使监控系统智能化、时代化和经济化也是目前研究中的一个重要课题。同时，数字图像处理技术近年来得到了长足的发展，在监控、管理、地震，医疗等领域也扮演着重要角色，但是面向应用的图像处理系统却不尽如人意。嵌入式系统具有的功耗低、体积小和成本低等优点，本课题在嵌入式技术基础上结合数字图像处理技术，探索设计出一种基于嵌入式平台的图像处理系统，得以增强系统工作的实时性，实用性和稳定性。

　　本文分析并总结了嵌入式视频图像技术的过去和发展，搭建起自己的嵌入式平台，实现了嵌入式视频图像的采集、显示和保存，并采用普通 PC 浏览器界面控制系统完成各项任务。同时，基于 Visual C++软件平台，完成视频图像的预处理，实现人脸识别并标记。

　　系统选用三星公司的 32 位 ARM 处理器 S3C2440A，嵌入式软件平台采用稳定性很高的 Linux 系统。通过基于 V4L 接口的采集程序完成视频图像采集，采用基于传输控制协议(TCP/IP)的网络套接字 Socket 实现数据传输和显示，并完成图像捕捉与保存、现场运动物体监测。同时，为了便于系统与外界交互，采用基于B/S 模式的 PC 机浏览器完成与系统的交互控制：搭建嵌入式 Web 服务器 Boa，编写运行在服务器上的 CGI 接口程序，Web 服务器通过 HTTP 协议与监控端浏览器进行信息交互，并提供其他应用程序模块的接口和视频输出窗口。VC 下基于DIB(设备无关图)完成对采集的图像数据的加载、处理和标记，实现图像的灰度化处理、图像增强处理、二值化处理，完成直方图均衡输出，最后确定并标记出来人脸区域。介绍了其中的图像预处理和标记算法，给出了系统运行实验的数据和结果。

　　本文通过嵌入式技术和图像处理技术的相结合，探索了一种基于 ARM 与普通 PC 机完成的图像采集和处理的系统，经过测试运行稳定，达到系统设计的目标，具有一定的实用性。

　　关键字：嵌入式，ARM，Linux，Visual C++，图像预处理

Abstract

　　With the rapid development of science and technology, equipment intelligence has involved into every corners of the world. How to achieve the established goal by relatively low cost becomes an important issue. The application of all kinds of monitoring system in various field is developing rapidly, It is also an important subject to make the monitoring system intelligent ，economization and abreast of the times in the current study. Meanwhile, the digital image processing technology,which plays a more and more important role in management, earthquake, medical care and other fields, has been considerably expanded in recent years. However, the application of image processing system is not satisfactory, and the embedded system becomes a commendable solution to this problem.The embedded system has many advantages, such as low power consumption, small volume, low cost, and so on. With the digital image processing technology, we can design an embedded platform based image processing system which has high real time capability, practicability and stability.

　　This article first analyzed and summarized the past and future development of embedded video&image processing technology.Then an embedded platform was built to realize image collection, display and save.All the tasks above ware controlled by an ordinary PC browser interface system. The video preprocessing and human face recognition&marking was realized via Visual C++ software environment at the same time.

　　The system uses Samsung 32-bit S3C2440A as the ARM processor, and selects Linux as the embedded software platform since its high stability. The video signals collected via a V4L interface based procedures are transmitted and displayed by TCP(transmission control protocol) based network-socket.The image capture and preservation as well as the dynamic monitoring are realized at the same time. For the convenience of interactions between system and the external, a B/S mode based PC browser is adapted for dynamic control. After setting up the embedded Web server Boa, where runs the CGI interface program, the web server can interact with the browser software via HTTP protocol, and provides interfaces for other application modules and a video observation window. The VC, based on DIB, completes the loading, processing and marking of collected image data, realizes the image greying processing, image enhancement treatment and binary processing, completes equilibrium output, and finally identifies and marks the human face region. The image preprocessing and marking algorithm are presented, as well as the data and running results of the system.

　　By combining embedded technology with image processing technology, this article explored and developed an image acquisition and processing system based on ARM and ordinary PC. Its relative test results are positive, which proves the system's stability and fulfills the system designed purpose. What is more, it has certain practicality.

　　Key words：Embedded, ARM, Linux, Visual C++, Image preprocessing

　　随着科学技术的高速发展，社会即将从工业化社会转向信息化社会，信息的自动处理成为了人类生活和生产中不可缺少的一部分，人们的生活生产和工作环境也是趋向于立体化[1]。此时，人们对信息的获取和处理要求就显现出来了，而在日常生活中，人们从周围环境中获取的信息中，绝大部分都是视频图像信息，因为这类的信息可以直观的反应出一个时刻所呈现的状况，可见视频图像在我们的日常生活中占据着重要的作用。如何简便快捷的获取这些图像信息是科技研究中的一个重要课题。

　　人们的物质生活水平有了很大提高的同时，社会治安也越来越引人注意，社会和个人的社会安全也迫切需要提升到一个新高度。近年来，公安部大力推动在全国范围内“平安城市”的建设，视频图像监测作为安全防范系统的一个重要组成部分。在国家大型活动，如 2008 北京奥运会、2010 上海世博会、2011 广州亚运会中，视频图像监测都赋予了相当重要的地位。除了公共场所外，住宅区、私人办公室和家庭房间等地方的安全问题也日益凸显，非法入侵、入室盗窃等违法行为对人们的财产和生命安全都造成了一定的威胁，视频图像监控技术在预防犯罪和调查取证等方面都起到了难以取代的作用[2~4]。

　　伴随着计算机技术的迅速发展，数字图像处理技术近年来也获得了飞速提高。经过了一段时间的发展，图像处理系统也逐渐完善成型，它可以在一定的场合下部分代替人的脑力劳动。人的生理器官的识别能力是有限制的，在限制之外我们可借助图像处理系统来代替人类自动完成对大量物理信息的处理。此外，人类的活动范围也是有条件限制的，比如在恶劣的环境之中就需要借助外力来完成某些特定的工作[5,6]。这就使图像处理系统在通信工程、军事工业、工业检测和医学影像等领域有着很大的应用前景。

　　人们生活和生产多元化的同时，人们对图像进行处理的要求也在不断提高，比如精度要求、处理速度和稳定性等方面都要求有所提高。而传统的系统在结构、成本和体积功耗上都存在着一些明显的缺点，图像处理系统的实时性和小型化是它发展的必然趋势。这些年嵌入式技术由于其稳定性好、可扩展性强、系统体积小和经济上的优势，得到了快速的发展和应用，这样将嵌入式技术与视频图像数据结合在一起也就会是必然的趋势。因而，探索一种基于嵌入式系统的图像采集和处理的一体化系统有着很大的意义。

　　嵌入式技术是将计算机作为一个信息处理部件,嵌入到应用系统中的一种技术它将软件固化集成到硬件系统中,将硬件系统与软件系统一体化，具有软件代码短而精、事件响应速度快和系统控制高度自动化等特点。嵌入式系统是本质上以应用为目的，运用计算机技术为基础，系统的软硬件可以进行裁剪，当系统对应用的体积、功能、成本、功耗和可靠性有严格要求时，特别适用的专用计算机系统[7,8]。

　　最初的嵌入式系统以单片机为核心，而被应用于各种电器、生产机器、通信设备中，使其变的更加稳定、更快、更易操作。这时的单片机只能完成简单的代码，功能简单，还不能完整的称为系统[9]。进入 20 世纪 90 年代后，嵌入式技术全面展开，目前已成为通信和消费类产品的共同发展方向，更多的公司投入到嵌入式操作系统的研发之中，先后出现了 VxWorks、WinCE、Linux 等嵌入式操作系统。在通信领域里，数字技术正在逐步取代模拟技术；在消费电子内，MP3、MP5，手机等领域都依附于嵌入式技术的发展；在个人领域内，嵌入式具有便捷的人机交互界面，GUI 为核心的多媒体界面，给人以很大的亲和力，而手写触屏文字输入、语音拨号上网、收发电子邮件等都以前成熟起来。如今，嵌入式技术在通讯、网络、工控、医疗、电子等领域发挥着越来越重要的作用，它无疑成为当前最热门最有发展前途的 IT 应用领域之一[10]。

　　嵌入式视频技术随着处理器性能的提高、操作系统的不断完善和多媒体通信技术的快速发展，已经广泛应用到视频会议，家居安防和工业监控之中[11]。

　　在数字视频处理技术出现之前，视频信号从采集、存储、传输都以模拟信号为主，随着个人计算机具有高速通用扩展总线，通过扩展视频采集卡可以实现视频模拟信号到数字信号转变。而嵌入式系统的出现对于视频的处理提出了新的需求，数字信号处理技术的应用研究也开始在嵌入式系统上展开。嵌入式图像及视频处理成为信号处理研究中一个重要的分支，大量在计算机上实现的数字信号处理算法通过与嵌入式系统的结合产生了大量优秀的应用平台和案例。而从技术角度上来看，视频图像监测技术大致经历了三个阶段[12]：

　　第一代是模拟视频监控系统。这类监控系统需要有事先预定好的模拟监视器，并且获得的图像质量不高、系统可扩展性也非常有限，而且录像机中使用的录像带还需要经常更换。

　　第二代是基于 PC 的数字化视频监控系统。这个阶段的监控系统实际上是第一代系统的发展，它以 PC 机为控制中心，结合较先进的数字设备完成监控。但是视频数据仍然是以模拟的传输方式传输，对第一代系统进行了很大改进。与第一代的闭路电视系统相比，这代系统是一种半数字半模拟系统，只是数字视频录像机的布线仍然很复杂，可扩展性不强，而且通常选用的 Windows 操作系统性能稳定性欠佳。

　　第三代是基于嵌入式技术的网络视频监控系统。这种监控系统具有嵌入式微处理器和嵌入式操作系统，配合相关的嵌入式外设完成现场实时监控。它涉及到了多媒体技术、嵌入式技术、数字化视频图像处理等技术，将现场采集到的监控数据先进行一定的压缩，然后通过网络协议进行数据传输。连接在整个网络上的计算机设备采用 C/S（客户端/服务器）或者 B/S（浏览器/服务器）模式来获得监控现场的相关数据，并可根据现场状况进行实时的人机交互。它的发展依赖于互联网技术的发展和普及，这类基于网络的视频监控一般采用专用的嵌入式操作系统（如 Linux 操作系统）和专门设计的硬件设备，满足特定的应用。与第一第二代监控系统相比，这类的系统把所有的功能集合到一个专门的设备内完成，不仅在专用性上有很大的提高，而且在系统的稳定性和数据实时性上都显示了其独特的优势，此外在功耗和成本上的优势也使其具有很高的商业用途。

　　图像处理技术的内容很广，狭义上来讲，是基于个人计算机，运用现代数学技术，完成对采集的图像进行特定要求处理的系统。图像处理技术就是人类视觉认知的扩展，是智能研究的一个重要领域。

视频图像采集与处理系统开发：

原始图片

灰度化后的图片

视频采集程序的运行脚本

系统控制界面

运动物体监测记录图

motion 运行效果图

图像处理的开始界面

相似度处理效果图

直方图和二值化处理后的效果图

人脸区域确定与特征标记

目 录

　　学位论文原创性声明和学位论文版权使用授权书
　　摘 要
　　Abstract
　　第 1 章 绪 论
　　　　1.1 课题背景及意义
　　　　1.2 嵌入式视频监控和图像处理的研究现状
　　　　　　1.2.1 嵌入式技术的定义和研究现状
　　　　　　1.2.2 视频图像监控技术的研究现状
　　　　　　1.2.3 图像处理的研究现状
　　　　1.3 发展趋势
　　　　1.4 论文主要工作及内容安排
　　　　　　1.4.1 论文的主要研究内容
　　　　　　1.4.2 论文主要内容安排
　　第 2 章 系统总体设计与嵌入式系统概述
　　　　2.1 系统的总体设计
　　　　2.2 嵌入式系统概述
　　　　　　2.2.1 嵌入式系统简介
　　　　　　2.2.2 嵌入式系统的特点
　　　　　　2.2.3 嵌入式系统的组成
　　　　2.3 本章小结
　　第 3 章 嵌入式开发平台的搭建
　　　　3.1 系统硬件平台的搭建
　　　　　　3.1.1 硬件概述
　　　　　　3.1.2 嵌入式处理器
　　　　　　3.1.3 NAND FLASH
　　　　　　3.1.4 电源管理模块
　　　　　　3.1.5 网络接口
　　　　　　3.1.6 USB 接口设计
　　　　　　3.1.7 USB 摄像头
　　　　3.2 系统软件系统的建立
　　　　　　3.2.1 Bootloader 简介
　　　　　　3.2.2 交叉编译工具链的建立
　　　　　　3.2.3 嵌入式 Linux 操作系统简介
　　　　　　3.2.4 嵌入式 Linux 内核的配置和移植
　　　　　　3.2.5 Linux 根文件系统及其制作
　　　　3.3 本章小结
　　第 4 章 视频图像采集与人机交互
　　　　4.1 嵌入式视频图像采集
　　　　　　4.1.1 Video4Linux 简介分析
　　　　　　4.1.2 视频数据采集分析
　　　　4.2 图像数据的网络传输
　　　　　　4.2.1 计算机网络协议简介
　　　　　　4.2.2 TCP/IP 协议简介
　　　　　　4.2.3 Socket 网络套接字简介
　　　　　　4.2.4 基于 TCP 的图像数据传输
　　　　　　4.2.5 视频图像数据的显示
　　　　4.3 图像捕捉和运动物体动态检测
　　　　　　4.3.1 图像捕捉的实现
　　　　　　4.3.2 运动物体动态检测的实现
　　　　4.4 人机交互模块的设计
　　　　　　4.4.1 嵌入式服务器的移植
　　　　　　4.4.2 CGI 的设计与编写
　　　　　　4.4.3 HTML 客户端的设计
　　　　4.5 本章小结
　　第 5 章 基于 VC++的图像处理与人脸标记
　　　　5.1 图像处理与图像识别技术
　　　　5.2 图像预处理技术
　　　　　　5.2.1 图像灰度化处理
　　　　　　5.2.2 图像增强处理
　　　　　　5.2.3 图像的二值化
　　　　　　5.2.4 图像直方图
　　　　5.3 Visual C++下实现图像处理与人脸标记
　　　　　　5.3.1 Visual C++与其编程简介
　　　　　　5.3.2 设备无关位图 DIB
　　　　　　5.3.3 图像中人脸区域标记
　　　　5.4 本章小结
　　第 6 章 系统测试与结果
　　　　6.1 B/S 模式下的数据采集与运动监测
　　　　6.2 基于 Visual C++的图像处理与人脸检测测试
　　　　6.3 本章小结
　　结论与展望
　　参考文献
　　致 谢
　　附 录 A 攻读学位期间发表的学术论文

（如您需要查看本篇毕业设计全文，请您联系客服索取）