安卓系统端全景图像拼接系统开发

摘 要

　　图像拼接是指是将多张具有重叠区域的图像（可能是不同时间、不同视角获得的）拼成一幅的无缝图像。全景图像拼接是数字图像处理、计算机视觉和虚拟现实领域的热点研究问题之一。它有助于解决因为成像设备硬件条件的制约而无法兼顾大场景和高分辨率的问题。目前，该技术已经广泛应用到智能安防、医学图像处理和军事等诸多的应用领域。全景图像拼接主要包括 4 个步骤，分别为图像几何校正、图像预处理、图像配准和图像融合。其中，图像配准和图像融合决定图像拼接成功与否的关键。

　　本文从工程实用性的角度出发，研究基于 Android 平台和开源的计算机视觉库(OpenCV)的全景图像拼接。具体地，论文的主要工作和创新点如下：

　　首先，提出了一种基于 ORB(Oriented FAST and Rotated BRIEF)特征点和 RANSAC(Random Sample Consensus)的全景图像拼接算法。ORB 是一种新的具有局部不变性的特征，是替换 SIFT 或者 SURF 特征点的一个很好的选择。图像配准时采用基于 ORB 特征点的匹配，相对于 SIFT 和 SURF 特征点来说，图像配准的执行效率更高。此外，RANSAC剔除无效的匹配特征点，并得到当前图像和前一幅图像之间的总体平移。通过特征点对的计算可以得到用于投射变换的单应性矩阵。

　　其次，利用 OpenCV for Android SDK，在 Android 操作系统下调用其自带的 API 函数和 OpenCV 提供的 API 函数，实现了本文提出的基于 ORB 特征点和 RANSAC 的全景图像拼接 App 应用程序。它包含两个主要的线程：Android 图形用户接口(GUI)线程和计算机视觉线程。其中，Android 图形用户接口(GUI)线程的主要功能是通过手机摄像头和传感器捕获图像及其方向(orientation)，并在 GUI 上显示。计算机视觉线程则得到输入的图像并且完成图像拼接所需的计算。

　　最后，以湖南大学校园内的场景图像为测试对象，利用华为荣耀 6x 手机进行实际的测试。测试结果表明，基于 Android 系统的全景图像拼接 App 应用程序实现了预期的功能，并且性能良好。

　　关键词：图像拼接；特征点检测；单应性矩阵；开源计算机视觉库；安卓系统

Abstract

　　Image mosaic refers to stitching multiple images with overlapped regions into a seamless image. Panorama image stitching is one of the hottest research topics in the fields of digital image processing, computer vision and virtual reality. It can solve the contradition that the hardware constrains of imaging device can not balance between wide scene view and high spatial resolution. Up to now, panorama image stitching has been widely used in many applications such as intelligent security, medical image processing and military. Panorama Image stitching is made up of four steps including image rectification, preprocessing, image calibration and image fusion. Among them, image calibration and image fusion are the key steps that determine the success of image stitching.

　　In this thesis, panorama image stitching is investigated from a practical engineering point of view. That is, we research on the panorama image stitching on the basis of Android OS and open computer vision library (OpenCV). Specifically, the main works and contributions are summarized as follows.

　　Firstly, a ORB and RANSAC based panorama image stitching approach is proposed. ORB is a abbreviation of Oriented FAST and Rotated BRIEF, which is a new feature with local invariance. It is an efficient alternative to SIFT or SURF. Thus, ORB-based features are exploited for image calibration. Compared with SIFT and SURF, ORB can be more efficient. In addition, Random Sample Consensus (RANSAC) is exploited to remove those invalid matched feature points, and obtain the overall translation between current image and the previous image. The homography matrix for projection is obtained by computing the feature point pairs.

　　Second, the proposed panorama image stitching approach, which is based on ORB and RANSAC, is implemented by exploiting the OpenCV for Android SDK. That is, it exploits the Android in-built APIs and the OpenCV APIs (Android version). There are two main threads running including the Android GUI thread and the Computer vision thread. The main functionality of the GUI Thread is to capture input images and orientation from the mobile camera and sensor and display the captured images onto the screen. The computer vision thread gets the input image and does all the computations for image stitching.

　　Finally, we verify the proposed approach with Huwei honor 6x, and the scenary images within the campus of Hunan University are used for test. Experimental results show that the proposed Android-based panorama image stitching APP has achieved desirable functionalities and performance.

　　Key Words：panorama image stitching; feature point detection and matching; homography matrix; open source computer vision library (OpenCV); Android OS.

　　众所周知，人眼的视角受到生理条件的制约，都具有一定的范围。通常情况下，其范围为水平方向 90。，垂直方向 70。。然而，很多的场景图像，例如瀑布、街景等，都需要更为宽阔的视角，才能带给观众惬意的视觉享受。全景(panorama)图像，是指通过广角摄像头等表现手段得到的图像，尽可能多展示周围的环境，带给用户一览无余的感受[1,2,3]。360。

　　全景图像，是指通过对专业相机捕获得到的整个场景的图像，进一步采用图像拼接等技术进行图片拼合，再采用专门的播放/浏览器进行播放，从而得到 360。的全角度视觉观受[4,5]。通俗地说，它是能够带给用户三维立体感觉的全方位图像。从技术角度看，它是把平面照片或者计算机维制的平面图形，按照某种几何关系进行映射（柱面投影、球形投影等方式），模拟成真实的三维空间，呈现给观赏者，以提供沉浸式的虚拟现实1。

　　可以看出，参与拼接的图像通常是在拍摄过程中，围绕某一个视点（光轴与镜头的交点）并偏转适当的角度得到的具有部分重叠边界的图像，即作为全景图像拼接的素材。拼接过程则通常包括检测图像重叠区域、计算图像间人投影变换矩阵和图像拼接等关键步骤[6,7]。此外，生成全景图的方法还可以使用专用的全景成像设备包括全景相机、鱼眼透镜广角拍摄设备等，直接生成全景图。

　　相对来说，采用专用的全景拍摄设备具有拍摄方便、无需复杂的运算的特点，可以实时得到全景图像[8]。但是，这些专业的拍摄设备具有价格昂贵、不易携带的缺点。使用计算机软件（即图像拼接）的方法，在优化拼接合成算法的情况下，也可以得到实时或者接近实时的全景图像。因此，基于图像拼拼的全景图像生成和显示技术更为实用，受到了更多的重视。

　　迄今为止，全景图像拼接是数字图像处理、计算机视觉和虚拟现实领域的热点研究问题[9]。它可以解决成像设备因为硬件条件的制约而无法兼顾大场景和高分辨率的矛盾，输出结果是包含所有拼接场景信息的宽视角、高分辨率全景图像。

　　目前，该技术已经成功应用到智能安防、日常生活和工业制造等众多的领域。例如，基于静态图像的虚拟校园全景展示[10]、刑事案件的现场侦察与还原[11]等都是全景图像拼接的典型应用。然而，虽然图像拼接技术的基本理论已经相对成熟，但是在具体的实施过程中，仍然可能受到应用环境的复杂多变等因素的影响。对于一些特殊的场景，传统的图像拼接技术并不总是能够取得满意的效果。因此，本文研究基于安卓手机的图像全景合成，以直接使用安卓手机得到便携、高效的全景图像。论文选题既具有理论意义，又具有很强的工程应用价值。

　　柱面全景图技术较为简单，是现在应用最广泛的一种全景图成像技术，也是最适合人眼视觉系统(HVS)的一种全景图成像技术。柱面投影的方式是指通过数学变换，将平面图像投影到柱面上。柱面全景图具有在圆柱面图像和矩形平面图像之间进行灵活转换的优点。相对于立方体变换和球体变换，其坐标变换更为简单，可以作为表达空间信息的选择。

　　鱼眼投影的目标是创建一个扁平的网格，使产生的图像类似于观看一个镜面的金属球。通常，它并不作为全景摄影的拼接方式。鱼眼投影的水平和垂直的角度限制为 180。或者更小。当直线离图像网格中心越远，曲率越大。鱼眼镜头的相机在创建涵盖整个视野的全景图时，往往只需很少的照片就可以创建全景，但是具有形变较大的缺点。

　　球面全景图是指以相机视点为球心，将拍摄的源图像投影到球体的内表面形成的全景图样式。球面全景图可实现水平和垂直方向 360。

　　的观察角度。由于球面全景图的投影生成过程是非线性的，球面全景图的生成拼接过程相对来说较为复杂。目前，球面全景图的研究算法较其他类型全景图少，且在可靠性和效率等方面尚存在一些不足之处。

　　为了展示对象的 3D 效果，出现了对象全景图。例如，当拍摄汽车图像时，汽车就是对象。为了得到对象全景，拍摄时瞄准对象并且转动对象，而不是采用传统的转动相机的方法。每转动一个角度，拍摄一张图像，顺序完成。然后，选用对象全景的软件进行合成和播放。这样，用户能够使用鼠标拖动对象进行水平360。

　　的转动，从而展示对象的 3D 全貌。对象全景具有广泛的应用范围，包括商品和玩具展示，文物观赏，艺术和工艺品展示等，还可以将其嵌入到网页，供用户欣赏。

　　立方体全景图像是由前、后、左、右、上和下 6 张照片无缝拼接而成。具体地，全景图分成了前后左右上下六个面，浏览的时候将六个面结合成一个密闭空间来现实整个水平和竖直的 360 全景。相机位于立方体的中心，也是全视角，实际效果与球形全景类似。

Android 的架构

安卓工程目录

全景相机的逝去的拍摄成像过程

全景合成结果（全景素材取自湖南大学校园附近天马山）

参与图像拼接的图像 1

参与图像拼接的图像 2

SIFT 特征拼接的结果

目 录

　　学位论文原创性声明和学位论文版权使用授权书
　　摘 要
　　Abstract
　　目 录
　　插图索引
　　附表索引
　　第 1 章 绪论
　　　　1.1 选题背景与意义
　　　　1.2 全景图像的类型
　　　　　　1.2.1 柱面全景图
　　　　　　1.2.2 鱼眼投影图
　　　　　　1.2.3 球面全景图
　　　　　　1.2.4 对象全景(Object Panorama
　　　　　　1.2.5 立方体全景(Cubic Panorama
　　　　1.3 图像拼接的通用流程
　　　　　　1.3.1 图像预处理
　　　　　　1.3.2 图像配准
　　　　　　1.3.3 图像融合
　　　　1.4 国内外研究现状
　　　　1.5 论文的研究内容和可行性分析
　　　　　　1.5.1 研究思路分析
　　　　　　1.5.2 可行性分析
　　　　1.6 论文的结构安排
　　　　1.7 小结
　　第 2 章 全景图像拼接的相关基础理论
　　　　2.1 图像变换模型
　　　　2.2 图像配准
　　　　　　2.2.1 基于区域的直接配准方法
　　　　　　2.2.2 基于特征点的图像配准方法
　　　　2.3 图像变换
　　　　　　2.3.1 相机运动的主要形式
　　　　　　2.3.2 图像变换矩阵
　　　　　　2.3.3 图像变换模型
　　　　2.4 图像融合
　　　　2.5 几种常见的特征点检测算法
　　　　　　2.5.1 SIFT 特征点检测
　　　　　　2.5.2 SURF 特征点检测
　　　　　　2.5.3 FAST 特征点检测
　　　　2.6 欧拉角和四元数
　　　　　　2.6.1 欧拉角(Euler Angle
　　　　　　2.6.2 四元数
　　　　2.7 小结
　　第 3 章 基于 FAST 特征点和 ORB 匹配的全景图像拼接
　　　　3.1 引言
　　　　3.2 提出的全景图像拼接算法原理图
　　　　3.3 特征点检测
　　　　　　3.3.1 SIFT、SURF 和 FAST 特征点检测的对比实验
　　　　　　3.3.2 ORB 特征点检测
　　　　3.4 从图像到球形坐标的映射
　　　　3.5 RANSAC 计算
　　　　3.6 图像平移与合成(stitching)
　　　　3.7 本章小结
　　第 4 章 基于 Android 手机的全景图像拼接软件实现
　　　　4.1 引言
　　　　4.2 开发工具简介
　　　　　　4.2.1 Android 平台简介
　　　　　　4.2.2 OpenCV 简介
　　　　4.3 系统分析与环境搭建
　　　　　　4.3.1 研究目标
　　　　　　4.3.2 需求分析
　　　　　　4.3.3 开发环境搭建
　　　　4.4 系统的主要程序模块实现
　　　　　　4.4.1 自动拍摄全景拼接图像
　　　　　　4.4.2 全景拼接取景进度条的实现
　　　　　　4.4.3 OpenCV 的 ORB 实现
　　　　4.5 部分 Android 工程文件
　　　　4.6 系统测试以及分析
　　　　　　4.6.1 测试设备
　　　　　　4.6.2 测试结果与分析
　　　　4.7 本章小结
　　结 论
　　参考文献

（如您需要查看本篇毕业设计全文，请您联系客服索取）