linux下新型的智能视频监控系统开发

摘要

　　随着社会的高速发展，生命和财产安全受到大众的高度关注，视频监控系统的研发越来越受到重视。信息技术的高速发展也积极的带动了视频监控领域的技术革新，视频监控正向高清化、网络化和小型化的方向发展。本文根据当前国内外视频监控系统的最新发展趋势，将嵌入式技术、流媒体技术结合起来，提出一种新型的智能视频监控方案。

　　视频监控系统主要由网络摄像机、服务器端和客户端组成，其中网络摄像机是其最重要的部分，当前视频监控系统不仅要求采集的图像清晰度要高，而且对视频图像的压缩和传输都有很高的要求。这就对网络摄像机的主处理器和摄像头提出了较高的要求，本设计选取海思高性能SOC 芯片 Hi3507 为主处理器，该处理器是一款基于 ARM9 处理器内核的高性能处理器，支持 H.264 和 MJPEG 协议编码，视频接口模块支持 720P 高清视频拍摄。

　　主处理器内集成了 H.264 算法，为上层应用程序的开发直接提供 API 函数，鉴于当今智能安防的需要，图像处理模块还支持运动侦测功能。Hi3507 主处理器结合 CMOS 高清图像传感器OV2643 和live555 流媒体服务器，搭建了一个高清网络视频监控系统。测试表明，该系统不仅采集到的图像清晰流畅、实时性高，而且具有较高的性价比和广阔的市场前景，主要内容有：

　　(1) 对视频监控系统需求分析进行调研，确立整个系统的体系结构，分析和设计了系统的总体硬件架构，重点对Hi3507主处理器和OV2643图像传感器进行硬件接口设计，Hi3507通过 I2C 协议控制 OV2643,并通过视频输入单元从 OV2643 中采集数据并存储到指定内存中，同时简要阐述了其它外围设备的硬件接口设计。

　　(2) 在确立了软件总体设计的基础上，完成网络摄像机模块的软件开发工作，在深入研究 Hi3507 视频输入单元工作原理的基础上，对其寄存器进行合理的配置，编写了 OV2643图像传感器的驱动程序。同时设计和编写上层应用程序，实现视频图像的采集、编码、获取和运动侦测等功能，对其中的每个子模块设计都进行了详细的阐述。

　　(3) 深入理解 live555 流媒体服务器工作原理，通过改写 live555 的方法，设计和实现了live555 流媒体服务器直接从内存中读取实时视频流，在软件二次开发中，图像的采集压缩和发送使用了两个线程，共享一块乒乓缓存区。

　　(4) 最后完成了视频监控系统的系统测试环节，包括开发环境的搭建和软件测试等。

　　关键词：视频监控；嵌入式 linux；网络摄像机；流媒体服务器

Abstract

　　With the rapid development of society ,people pay more attention to the safety of life and property,The research and development of video surveillance system is paid more and more attention.The rapid development of information technology also lead to positive technological innovation in the field of video surveillance,Now the video surveillance is developing towards the direction of HD,network and miniaturization. this paper put forward a kind of new video monitoring scheme which combining the embedded technology and streaming media technology according to the latest developments at home and abroad .

　　The video surveillance system consists of a network camera, the server and client components, network camera is the core part of the video surveillance system ,Now the current video surveillance system not only requires high definition image,but also has a very high request to the compression and transmission of video image.It leds to a higher requirements to the main processor and camera sensor, the design selects the Hi3507 main processor of high-performance SOC chip Hi3507 as the main processor, The main processor is based on a high performance ARM9 processor kernel, which supports the H.264 protocol code and the MJPEG protocol code, video processing module supports 720P HD video shooting. The Hi3507 processor integrates the H.264 algorithm and provides the API function for the application program directly.in view of the request of current intelligent security,image processing module also supports motion detection function.The main processor Hi3507 combines HD CMOS image sensor OV2643 and live555 streaming media server, sets up a high-definition network video surveillance system. The testing of the system indicates that the system not only collectes smooth, real-time images , but also has a high cost and broad market prospects, the main contents are:

　　(1) On the basis of the video monitoring system requirements,establishs the system structure and the hardware design of the whole system,especially focuses on the hardware interface design of Hi3507 processor and OV2643 image sensor,The Hi3507 processor controls OV2643 image sensor through the IC protocol, and collectes and storages data to the specified memory through video input unit, at the same time, this paper briefly describes the hardware interface design of othe peripheral equipment .

　　(2) On the basis of establishing the overall design of the software, complete the software of network camera module, On the basis of studying the working principle of Hi3507 video input unit ,carries on the reasonable allocation of the register, Programming the driver of OV2643 image sensor. At the same time,design and programming the upper application program to realize the video capture, encoding, acquisition and motion detection and other functions, and each sub module design is described in detail.

　　(3) On the basis of understanding the working principle of live555 streaming media server, by rewriting the live555, design and realize the live555 streaming media server directly read real-time video stream from memory ,In the two development of software,The image compression and transmission uses two threads by sharing a ping-pong buffer.

　　(4) At the end of this paper, completes the system testing process of video monitoring system, ncluding build up the environment and the software testing.

　　Key words: Video surveillance;Embedded Linux;Network Camera;Streaming media server

　　生活质量的提高，提升了大众对生命财产安全的重视。视频监控作为一种最直观的安防技术，越来越受到广大消费者的青睐，同时也有越来越多的公司参与到视频监控系统的研发当中，视频监控目前广泛用于交通监控、生产监控和智能家居等重要领域[1]。

　　传统的模拟视频监控系统是发展最早的视频监控方式，模拟摄像机是采集前端、监控器是客户端、传输电缆作为传输媒介，最后还有视频矩阵切换器。它的工作原理是：首先通过模拟的摄像头采集视频数据，然后通过电缆将视频图像传输到客户端，用户在客户端就可对现场视频进行监控。这种视频监控方式是典型的点到点的视频监控，所以有着诸多的不足，比如受到传输距离的限制，实际布线量大，图像易受损，系统不灵活，不易扩展。

　　随着计算机技术的发展，传统的模拟视频可以转换成数字视频，图像质量随着 PC 的数据处理能力和显示器的高清化而提高，数字视频监控受到人们的重视，模拟视频监控一点点被取代，但是也存在着一些弊端：比如系统的稳定和可靠性差，视频采集前端功耗高，结构复杂。尽管在客户端有良好的人机交互界面，并且可操作性也很高，但是数字化视频监控系统在整体建设和维护费用也很高[2]。进入 21 世纪后，随着视频编码技术、流媒体技术、嵌入式技术和网络技术的大力发展，视频监控系统迈入了网络时代，特别是当今智能设备在我国大量普及和增长迅速的背景下，人们越来越倾向于实时高清而又便捷的监控方式。

　　所以基于流媒体技术、智能终端显示和无线网络传输的网络视频监控具有广阔的市场前景。视频采集传感器作为采集设备、视频服务器是视频数据转发设备和客户端构建了网络视频监控系统，被授权的用户只需要通过手机、平板电脑等智能终端就可以实现监控现场的实时监控。网络视频服务器支持无线和有线两种传输方式，有线的传输方式的传输介质包括以太网、双绞线和光纤等，但是由于有线传输方式布线较复杂，特别是对于传输距离较远的监控就更为复杂。同时安装难度太大也是有线传输不能普及的原因。无线传输则有多种方式，比如蓝牙、1.2G、wifi 等，蓝牙是一种短距离的无线传输方式，wifi 则可以借助互联网来实现视频的远程传输，但是用户必须要处于 wifi 热点的覆盖范围，否则将无法使用。

　　随着无线网络的快速发展，特别是 4G 技术的快速发展，使得用户能够使用智能手机来实现视频的远程监控，只要有 4G 信号的地方，用户就能对现场实现实时监控，克服了现有某些产品的不足[3]。

　　随着社会的发展，流媒体技术和业务正在走向成熟，中国三大运营商都不约而同的推 出了视频点播、在线音乐和视频直播等流媒体业务[4]。流媒体技术，就是将采集的视频或者是音频经过压缩处理后上传到网络服务器上，用户无需将其全部下载完毕就可以观看。可以实现视频图像的即时即看，因为流媒体技术具有实时性，所以现在广泛应用在网络视频监控系统中，是网络视频监控系统传输系统中的核心技术。近几年，流媒体技术得到了迅速发展，特别是现在物联网正方兴未艾，流媒体在物联网的应用越来越广。当前支持流媒体技术的开源项目有很多，本文介绍了一种基于live555的流媒体服务器的流媒体传输技术，微软，苹果公司都开发了自主创新的流媒体服务器软件，是最早开发流媒体技术的公司。

　　随着物联网技术的快速发展，所谓物联网技术，就是将各种终端设备，比如 RFID 技术、各种传感器、GPS 定位系统和红外感应等连接起来，使得各个物体之间能够通过网络来实现信息的交换，实现跟踪、监控和管理等功能，随着现在智能家居越来越受到消费者的青睐[5]。

　　网络视频监控系统目前正朝着高清化、集成化和智能化的方向发展，这就对 IP Camera提出了更高的要求，华为海思的高性能SOC 芯片 Hi3507 本身就集成了 H.264 编解码协处理器，独特的MPP 系统为上层应用的开发提供了 MPI接口，降低了开发者的难度，同时开发成本更低，研发的周期也变得更短。丰富的外围接口、高速的视频处理能力和强大的网络功能使得其在高清网络视频监控系统同类产品中具有非常明显的优势。本文提出了一种基于Hi3507 的视频监控系统的设计方案，完成了整个系统的实现，重点分析一些关键技术，可广泛用于银行、超市、交通道路等场所。

　　国外对视频监控系统的研究起步非常的早，拥有大量的先进算法、高新技术，积累了宝贵的经验，而且国外的研究机构大都得到政府和军队的支持，拥有雄厚的资金和技术实力。国外现在大力发展的是移动视频监控系统，特别是欧美等国家，各大运营商得到政府的大力支持，移动视频监控系统发展迅速。在亚洲，特别是日本、韩国和新加坡等国家，也在积极推动人脸识别和移动监测等技术的发展[6]。

　　美国的电话电报公司拥有通信基础设施上的优势，为用户提供基于PC 和手机的视频监控系统服务。其特色服务有智能家居产品，用户可以实现远程操控和接收预警的功能，只需要支付少量的费用便可以享受此服务。英国电信推出 ATM 无线监控方案，着力解决家庭领域和公共安全领域的安防产品，在视频监控上更加注重网络摄像机的研发方案。西班牙电信为家庭用户提供基于网页监控 PSGI 方案，利用 wifi 网关实现家庭网络与互联网的互联，所以更加注重无线网络摄像机的开发工作，同时该系统还带有很多的智能安防的功能，比如生物特征识别技术，使得该安防系统能自动识别人脸，控制大门的开启。日本电信电话株式会社提出了 i-mode，用户可以通过智能终端，对家里的家电等智能化的设备进行远距离的遥控操作，同时还构建主动防御系统，通过麦克风和扬声器等双向通讯系统对盗匪进行语音警报。韩国电信通信公司则运用普适计算技术，利用 ZigBee 协议监控家中的智能化的终端或者是设备，该系统将无线和有线结合为一体，通过大量布置传感器，将家庭的实时状况传输到用户的智能终端中。新加坡电信公司通过其成熟稳定的 3G 网络，用户可以实现手机、固话和互联网平台之间的视频通讯。在近期举行的国际电子产品展示会上， InMotion 技术公司推出 4G LTE 网络产品，是一个将 4G 技术运用于车载系统的最新成果，行驶的车辆就是一个移动网络管理系统，美国的巴顿公司开发的 visuality 移动视频监控系统可以通过3G 和4G 网络来进行现场视频直播和全球定位信息[7]。

　　在国内，视频监控的研究的主力军主要是各大高校和各大研究所，随着无线网络的不断发展，特别是移动通信的发展，各大研究机构都将视频监控的发展定位在无线网络和移动终端的结合上，特别是随着物联网和智慧城市概念的提出，无论是家庭还是企业，都越来越希望实现移动而又便捷的视频监控[8]。在智能家居构想中，家庭用户希望通过建立智能便捷的安防网络，使用户能够对家中的情况实现实时的监控。

　　根据相关权威的调查，目前中国的安防企业有两万多家，但是大部分的客户群都瞄准政府机关和金融机构，对于民用的安防产品却还在观望和探索中，投入也相对较少。更多的是中小企业投入其中，但因为缺少资金和核心技术，抄袭同类产品，容易导致民用安防产品缺乏技术标准，质量参差不齐。视频图像压缩技术的不断推动下，数字监控市场出现越来越繁荣的局面，例如典型的有北京微市公司的 Smart Video 解码系统和 MV-99G 海量硬盘录像监控系统，网络数字视频监控产品进入崭新的时期。

　　在国内，三大运营商分别针对 3G 网络视频监控推出了自己的品牌服务，例如中国电信的全球眼，中国联通的宽世界、神眼和中国移动的守望者[9]。在国内也有许多在终端监控的研发上取得了很不错的成绩，海康威视和华师大科技共同研发的终端监控随身眼就是其中的优秀产品，海康威视对终端视频监控有两种方式，一是为终端设备提供解码库，二是为终端设备的监控提供整体的解决方案。在今后，拥有无线传输和智能安防能力的视频监控无疑是一个最被看好的研究方向，也是最受瞩目的研究领域。视频监控是网络通信、音视频技术和人工智能的共同产物，因其高度形象和逼真的内容，越来越受到人们的广泛关注，其应用的领域也涉及到人们生活中的方方面面[10]。

linux下新型的智能视频监控系统开发：

系统测试样机实物图

系统测试平台的搭建

uboot 成功移植信息显示

内核移植成功信息显示

视频参数的设置

网络参数设置

客户端图像显示

目 录

　　摘 要
　　Abstract
　　第一章 绪论
　　　　1.1 课题研究背景及意义
　　　　1.2 课题研究现状及分析
　　　　　　1.2.1 国外研究现状
　　　　　　1.2.2 国内研究现状
　　　　1.3 嵌入式系统应用
　　　　　　1.3.1 嵌入式系统的定义
　　　　　　1.3.2 嵌入式系统的特点
　　　　　　1.3.3 嵌入式系统的组成
　　　　1.4 论文所作工作与内容安排
　　第二章 视频监控系统总体设计
　　　　2.1 视频监控系统的需求分析
　　　　2.2 视频监控系统方案硬件总体设计
　　　　2.3 视频监控系统主要部件的选取
　　　　　　2.3.1 主处理器的选取
　　　　　　2.3.2 图像传感器的选取
　　　　2.4 视频采集芯片接口设计
　　　　2.5 DDR2 SDRAM 外围电路的设计
　　　　2.6 NOR Flash 外围电路的设计
　　　　2.7 以太网外围电路的设计
　　第三章 视频监控系统软件开发
　　　　3.1 视频监控软件总体设计
　　　　3.2 网络摄像机软件开发
　　　　　　3.2.1 OV2643 驱动程序开发
　　　　　　3.2.2 视频编码程序开发
　　　　　　3.2.3 运动侦测程序开发
　　第四章 流媒体服务器软件开发
　　　　4.1 流媒体技术概述
　　　　　　4.1.1 流媒体技术原理
　　　　4.2 流媒体关键技术
　　　　　　4.2.1 视频编码技术
　　　　　　4.2.2 流媒体传输协议
　　　　4.3 基于 H.264 流媒体数据封装
　　　　4.4 基于 live555 的二次软件开发
　　　　　　4.4.1 live555 服务器简介
　　　　　　4.4.2 live555 工作流程
　　　　　　4.4.3 live555 读取实时视频流
　　第五章 视频监控系统的测试
　　　　5.1 系统测试平台的搭建
　　　　5.2 嵌入式 linux 系统的移植
　　　　　　5.2.1 bootloader 的移植
　　　　　　5.2.2 内核的移植
　　　　　　5.2.3 文件系统的移植
　　　　　　5.2.4 内核和根文件系统的烧写
　　　　　　5.2.5 启动 Linux
　　　　5.3 视频监控系统的软件测试
　　第六章 总结与展望
　　　　6.1 总结
　　　　6.2 展望
　　参考文献
　　附录A
　　致谢
　　攻读学位期间的研究成果