水稻药肥精准施用大数据基础平台的建立

摘 要

　　水稻是我国主粮，华南与西南是我国水稻优势产区，水稻面积占全国的 26%. 该稻区地理环境和气候复杂，有害生物发生频率高，且各地农技水平不均衡，药 肥施用过量现象时常发生，影响了水稻产量和种植成本，危害了生态环境和食品 安全。大数据技术是解决水稻药肥滥用问题、科学种植的重要手段。本论文依托 国家重点研发计划"华南及西南水稻化肥农药减施技术集成研究与示范"的课题 1"药肥精准施用跨境跨区域大数据平台（No.2018YFD301）"的核心任务，以华南 西南八省市水稻种植区为研究区，构建水稻药肥精准施用大数据基础平台，为农 户、农技人员、管理者等提供水稻药肥施用决策服务。主要内容为：

　　1.调研大数据和互联网技术应用于精准农业的现状，分析整理我国水稻药肥 施用存在的问题，结合重点研发计划课题任务要求，与相关合作单位展开深入交 流，分析大数据平台的业务功能，明确大数据平台必须完成的任务。

　　2.基于三层结构的开发架构，设计了结构上分层、前后端分离的体系结构， 保证了平台高内聚低耦合，易于扩展。利用 PostgreSQL 和 Accumulo 分别作为结 构化数据和非结构化数据的数据库存储方案，后端利用 Jersey 作为基础框架开发 Restful 风格的服务，前端利用 Vue 作为基本框架开发以地理信息方式呈现数据的 应用。

　　3.部署相关软硬件环境以满足海量数据的存储（HDFS）与计算（Spark）以 及众多服务的稳定运行。整合与水稻药肥施用相关的多源异构数据（遥感、病虫 害模式报表、抗性、残留等），开发大数据应用模块，包括专家知识库的建立和 用户管理、示范区、商业服务等核心功能的实现。

　　4.开展大数据平台测试，结果表明平台集纳并创新区域特色抗性和药肥高效 利用水稻品种及高效栽培措施、药肥减施增效、精准轻简施用等技术，科学布局 示范辐射稻区，集成药肥减施综合技术模式，发挥新媒体+大数据引领作用，高校 与农科院所科技人才支撑作用，构建网络化多元推广示范平台，规模化示范推广， 有效降低药肥用量，减少稻田面源污染，保障食品安全。

　　关键词：水稻农药化肥精准施用，大数据，HDFS,Spark,数据可视化

ABSTRACT

　　Rice is the main grain in China. South and southwest China are the dominant rice producing areas, with rice area accounting for 26% of the whole country. The geographical environment and climate of the rice area are complex, and the frequency of harmful organisms is high. At the same time, due to the imbalance of agricultural technology and excessive application of pesticide and fertilizer, rice yield and planting cost are affected, and ecological environment and food safety are endangered. Big data technology is an important means to solve the problem of rice drug and fertilizer abuse and scientific cultivation. Based on the core task of the national key research and development plan "integrated research and demonstration of rice chemical fertilizer and pesticide reduction technology in South China and southwest China" project 1 "Cross border and cross regional big data platform for precise application of chemical fertilizer and pesticide （no.2018yfd301）", this paper takes eight rice planting areas in Southwest China as the research area to build a big data base platform for precise application of chemical fertilizer and pesticide in rice that provides decision-making services for farmers, agricultural technicians and managers and so on. The main contents are:

　　1 . Investigate and analyze the current situation of application of big data and Internet technology in precision agriculture, as well as the problems existing in the application of rice chemical fertilizer and pesticide in China. In combination with the task requirements of key research and development plans, in-depth communication with relevant cooperation units, complete the functional demand analysis of big data platform, and identify the tasks that big data platform must complete.

　　2. Based on the development architecture of three-tier structure, a hierarchical architecture with front-end and back-end separation is designed to ensure high cohesion, low coupling and easy expansion of the platform. PostgreSQL and accumulo are used as the database storage schemes of structured data and unstructured data respectively. The backend uses Jersey as the basic framework to develop restful style services. The front-end uses Vue as the basic framework to develop applications that present data in the form of geographic information.

　　3 . Relevant software and hardware environment is deployed to meet the requirements of mass data storage （HDFS）， computing （spark） and stable operation of many services. Then, the multi-source heterogeneous data （remote sensing, pest and disease pattern report, resistance, residue, etc.） related to the application of rice pesticide and fertilizer are integrated to develop the application module of big data, mainly including the establishment of expert knowledge base and the realization of user management, demonstration area, commercial service and other core functions.

　　4.The test results of big data platform show that big data platform for precise application of rice pesticide and fertilizer can effectively reduce the use of pesticide and fertilizer and non-point source pollution in rice fields, and ensure food safety by integrating and innovating rice varieties with regional characteristic resistance and efficient utilization of pesticide and fertilizer and techniques for high efficient cultivation measures, reducing application of pesticide and fertilizer, and precision and light application of pesticide and fertilizer. Besides, it builds a network persified promotion and demonstration platform and can be demonstrated and popularized on a large scale through scientific layout of demonstration and radiation rice area, integration of comprehensive technical model of reduction for application of pesticide and fertilizer, and giving full play to the leading role of new media + big data, the supporting role of scientific and technological talents of universities and agricultural academies.

　　Keywords: precise application of pesticide and fertilizer in rice, big data, HDFS, Spark, data visualization

目 录

　　第一章 绪 论

　　1.1 研究背景及意义

　　精准农业是现代农业发展的新趋势。美国、加拿大在这方面的研究处于国际 领先地位，其在精准管理、播种、施药、施肥等环节的应用较为成熟。20 世纪 90 年代中后期，我国开始对精准农业进行研究，近年来虽不断加大投入并开展了许 多实践工作，但仍然存在科研成果向应用产出转化欠缺、温室和养殖发展较快而 大田作物应用出现瓶颈、未能有效发挥由点及面的推广带动作用等不足[1,2].其次， 在精准农业技术体系方面，信息获取与可靠的专家决策系统是两个主要难点[3].近 年来，随着物联网与互联网等技术的不断发展，大数据技术提供了新的解决思路。 应用精准农业领域涉及的大数据将产生更大的价值，不少企业尝试应用大数据技 术提高精准农业的盈利能力[4,5]. 水稻药肥精准施用是立足于我国国情下的精准农业的应用实践。水稻是我国 主粮，华南与西南是我国水稻优势产区，水稻面积占全国的 26%.该稻区地理气 候及生态环境复杂，有害生物发生频率高，同时各地农技水平不均衡，常出现药 肥施用过量现象，影响了水稻产量和种植成本[6],危害环境和食品安全[7,8].

　　我国 政府高度重视药肥滥用问题，制定了《到 2020 年化肥使用量零增长行动方案》和 《到 2020 年农药使用量零增长行动方案》。2018 年中央一号文件强调"加强农业 面源污染防治，开展农业绿色发展行动，实现投入品减量化，推进有机肥替代化 肥，畜禽粪污处理，农作物秸秆综合利用，病虫害绿色防控".因此，综合我国实 际国情，以水稻药肥精准施用为主题，探索大数据及其相关技术在精准农业方面 的应用具有重要的现实意义和应用价值。 在我国，水稻药肥精准施用是一个典型的大数据技术应用场景。

　　自上世纪 70 年代起，我国开展了田间养分精准管理方法与技术的持续研究和推广，积累了大 量土壤类型、肥力等基础数据以及农村地籍调查、农业普查、作物需肥规律等田 间养分管理相关数据[9];自 20 世纪 50 年代起，我国开始逐步构建全国农作物重大 病虫害监测预警网络体系，2009 年全国农业技术推广服务中心开始建设农作物病 虫害数字化监测预警平台并推广至各个监测站点使用，长年累积了大量病虫害测 报数据[10,11];随着遥感技术的发展，尤其是我国高分系列卫星的发射以及无人机遥 感技术的发展，遥感数据源逐渐丰富，不同时间、空间、光谱分辨率的遥感数据 为大尺度决策分析、病虫害监测等方面提供了可能，对指导水稻精细化种植，发 展精准农业具有重大意义[12,13].然而，虽然积累了大量的多源异构的、与水稻种植 有关的时空大数据，但其大数据应用方面仍然存在数据共享水平低，数据处理、 分析、挖掘能力薄弱等问题[14].

　　鉴于此，本文依托国家重点研发计划"华南及西南水稻化肥农药减施技术集成 研究与示范"的课题 1"药肥精准施用跨境跨区域大数据平台（No.2018YFD301）" 的核心任务，以华南西南八省市水稻种植区为研究区，构建水稻药肥精准施用大 数据基础平台：集成卫星遥感、气象、无人机遥感、地面物联网监测等多源异构 时空大数据，以及遥感信息提取、时空数据挖掘和深度学习等分析技术，通过 Web、 手机 APP、微信公众号等服务方式为农户、农技人员、管理者等提供水稻药肥施 用决策服务。

　　1.2 国内外研究现状

　　与本文研究内容密切相关的国内外研究包括大数据技术及其在精准农业领域 的应用。其中，大数据技术包含大数据采集、数据预处理（清洗和标注）、存储、 处理（分析与挖掘），大数据可视化，大数据安全等内容。表 1- 1 是大数据生命 周期中使用较为广泛的相关技术与软件产品，在进行大数据平台设计时，要结合 数据特点、任务场景、硬件需求等综合考虑，选择满足应用需求的开源技术。

　　1.2.1 大数据采集技术

　　面向多源异构的海量数据，多种数据采集技术应运而生。数据提取转换与加 载（ETL）工具，可将异构数据规范化，进而将数据注入数据仓库。Villar A 等使 用 ETL 处理环境与医学数据，并结合联机分析处理（OLAP）对西班牙 16 个省的 数千万个单独的医疗、气象和空气质量观测进行飞行分析[16].然而，ETL 主要擅 长对历史数据进行离线操作，若要处理实时数据，需要进一步扩展，如 DOD-ETL 通过将按需数据流管道与具有内存中缓存和有效数据分区功能的分布式、并行、技术无关性的体系结构相结合来实现此目的[17].企业，政府机构等每日正常运行 产生了大量有价值的日志文件，针对这些数据的采集，出现了一批开源的技术框 架，如 Flume,Scribe 等。许多应用案例使用这些技术[17-19];随着互联网时代的迅 速发展，各种类型的网页上蕴含着海量的非结构化和半结构化的数据，这些数据 的采集主要使用爬虫技术，常见的爬虫框架有 Apache Nutch、Crawler4j、Scrapy, 通过爬虫获取数据已经成为许多研究数据源的重要支撑与保障[20,21]. 大量由关系型数据库存储的结构化数据，其来源主要是日常模式报表，即通 过前台应用系统与业务后台服务器的结合，将大量的业务记录写入到数据库。许 多应用分析面向多个数据库，可利用 Apache Sqoop 解决结构化数据存储与 Hadoop 分布式文件系统（HDFS）之间的转换问题，相对于使用脚本传输数据不仅保证了 数据一致性，而且提高了转换效率。

　　张婷婷在设计基于大数据分析的推荐系统时， 利用 Sqoop 工具将数据库中的数据转移到 HDFS 以便后续的分析算法提取数据[22]; 李新卫在构建基于 Hadoop 的音乐推荐系统时利用 Sqoop 完成数据的采集[23].针对 特定任务场景，也可结合相关 API 自定义数据迁移功能，如苏鹏涛基于 JDBC 访 问电力量测类数据传统关系型数据库，基于 HBase Java API 操作 HBase 数据库， 进而实现自动化迁移等功能[24].

　　1.2.2 大数据存储技术

　　分布式文件系统是对本地文件系统的扩展，其服务范围包含整个互联网，在 提供海量数据的存储服务的同时保障了数据安全，常见的分布式文件系统有 GFS、 HDFS、Lustre、Ceph、GridFS 等，其中 HDFS 应用最为广泛。然而，HDFS 在存 储海量小文件时在性能与存储效率方面一直备受挑战，要根据实际需求进一步优化 （如结合分布式缓存技术）[25-27].分布式文件系统是许多 NoSQL 的基础存储，如 HBase 基于 HDFS、MongoDB 基于 GridFS 等。NoSQL 可以解决海量非结构化与 半结构化数据的存储与查询问题，虽然也可以存储结构化数据，但相应会失去关 系数据库的一些特性。NoSQL 主要分为四类：面向列存储数据库、键值保存的数 据库、面向文档的数据库、图形数据库。为满足不同的存储与查询需求，NoSQL 在结构上一般分为四层即数据持久层、数据分布层、数据逻辑模型层以及接口层[28]. 许多大数据分析应用都基于 NoSQL 提供的查询服务[29,30],也有研究对如此众多的 NoSQL 进行调查分析，给从业者或研究人员的选择提供建议[31].

　　1.2.3 大数据分析处理技术

　　为解决海量数据的计算问题产生的并行计算框架主要包含 MapReduce、Spark等。MapReduce 是面向大数据并行处理的平台、框架、计算模型，这三层含义意 味着利用普通的服务器即可搭建易扩展、高容错的并行计算集群，并行计算涉及 到的很多系统底层的复杂细节（如数据分布存储，数据通信等）交由框架处理， 使用者通过实现该编程模型提供的抽象操作和并行编程接口即可完成基本的并行 计算任务。MapReduce 在诸多领域[32,33]的实践中证明其框架的实用性。Spark 是 MapReduce 的通用并行框架，通过启用内存分布式数据集，避免将许多需要迭代 的算法（如机器学习与数据挖掘）的中间结果保存至 HDFS 导致的 I/O 性能问题。

　　代明竹通过使用非排序的基准测序测试，发现使用 Spark 代替 Hadoop 会带来平均 77%的执行时间的降低[34].Spark 一度对 Hadoop 及其生态系统形成有力冲击，但 冯兴杰也指出 Hadoop 与 Spark 有着各自不同的特点，使得两者拥有不同的应用场 景，从而 Spark 无法完全取代 Hadoop[35].

　　1.2.4 大数据技术在精准农业中的应用

　　随着物联网、大数据等技术的不断成熟，越来越多的研究尝试将其应用到精 准农业中来。大数据技术正积极推动农情精细化监测，全球农情遥感速报系统通 过引入聚类分析、时间序列分析、关联分析、时空变化异常诊断等大数据分析方 法提升数据挖掘能力，促进技术体系升级[36].GA-SVM 通过对农业网络物理系统 中产生的大数据进行预测，为农民了解未来生长环境，做出适宜种植和经营决策 提供支撑[37].Delgado 等认为可结合大数据分析和物联网、人工智能、GPS、遥感 等技术，利用 WebGIS 框架将分散的智慧农场连接至全球或某一区域，从而实现可 持续精准农业[38].大数据技术在采集、传输、存储、处理、和应用等各个环节都 形成了成熟的技术框架，根据不同应用场景应当构建不同的技术体系。CYBELE 是一个保障农产品价值的平台，整合不同类型各种来源的数据形成数据仓库，基 于优秀的大数据处理框架 Spark,Hadoop,Kafka,Elastic 构建其高性能计算架构， 从而提供数据发现、处理、组合和可视化等服务[39];张波等采用大数据技术、云 计算技术、移动应用技术以及 HTML5 等新一代信息技术，构建并实现了精准农业 航空服务平台，充分考虑了植保施肥的实际需求[40];朱亮等利用 Hadoop,Hbase, Spark 等技术设计并实现了农业气象大数据平台，实现对农业气象数据的收集、存 储和应用，为"三农"服务、气象防灾减灾提供数据支撑[41].

　　然而，相对于欧盟基 于"5S"技术体系形成的精准农业生产方式，我国农业现代化发展滞后，特别在遥 感农业大数据应用上大有可为[42],将大数据技术应用到水稻药肥精准施用上有其 现实需求。 目前，有研究开始使用大数据技术提高水稻研究相关算法性能，分析水稻产量与气候的关系。邓兴鹏利用Hadoop计算框架研究了杂交水稻算法的分布式实现， 旨在提升面临大规模数据量时算法的性能问题，并取得了明显的提升效果[43];崔 媛利用前人大数据分析的结果，以华北、华东及东北水稻产区为例，进一步研究 了农业气候与农作物产量的变化关系，以期为各种天气条件下保障与提高农作物 产量提供理论依据[44].然而，直接利用大数据技术进行水稻药肥精准施用的研究 甚少。在肥料精准施用研究方面，蔡丽霞构建基于 Hadoop 技术的玉米精准施肥智 能决策系统，为农业区域的划分以及管理提供实时、准确的决策方案，从数据收 集、大数据平台的搭建、结合 MapReduce 进行分析算法的实现等角度系统性的进 行了大数据技术运用于精准施肥的研究[45];贵州省农业科学院科技信息研究所在 作物精确施肥方面取得了重要成果，其以贵州省喀斯特山区为研究区域，利用大 数据技术与方法开展作物推荐与应用研究，集数据的采集，处理于一体，做到了"服 务获取数据，数据促进服务"[46];何山等结合数据挖掘技术研究基肥和追肥的施用 数量及施用时间，同时利用云 GIS 可实现农田数据的空间信息化和施肥方案田块 化管理的可视化，为移动端施肥方案的推送和实现田块尺度上的信息化精细管理 奠定基础[9].在农药精准施用研究方面，有利用大数据技术进行农药残留量的分析， 这对精准施药而言具有指示意义，因为导致农药残留量过高的很大一部分因素是 农户在种植过程中施药不当。罗巍通过对调查得到的 37 个露地蔬菜品种上农药施 用的品种、用量、成本、施用次数等用药结构进行了监测研究，并通过分析结果 提出改进用药结构的措施[47]. 向农户进行农技推广是水稻药肥精准施用的重要应用出口。农业推广中农民 的障碍可简单地概括为：

　　1、缺乏解决问题的资源，包括知识、生产资料等，并且 不知如何获取并利用这些资源；

　　2、农民没有充分意识到采用新技术的好处而缺乏 积极性。我国农技推广中的问题包括：投资总量少，人均费用低；行政占主导， 基层参与少；人员缺少积极性，专业知识水平低；机构设置不合理；缺乏科学有 效的考评机制；技术供给与市场需求脱节等[48].大数据平台通过从水稻药肥大数 据中提取出隐含的规律，并通过网站，移动应用，微信公众号等多终端信息共享 平台的推广与使用，一定程度上能解决上述问题。

　　1.3 本论文的研究内容与结构安排

　　1.3.1 主要研究内容

　　（1）梳理项目所涉及的多源异构数据，根据不同的来源与获取方式制定不同 的数据采集方案；分析数据特点及不同存储方案的优劣，实现水稻药肥精准施用大数据的存储与管理。

　　（2）分析归纳项目任务与实际业务需求，设计大数据平台的功能，整合互联 网技术、大数据技术、"3S"技术等技术；对每个业务功能，通过设计对应数据库 表、实现后台业务功能所需交互接口、构建对应前台用户交互页面的流程加以实 现，并且考虑平台的实用性。

　　（3）专业模型如水稻病虫害预测预报、水稻长势分析、水稻病虫害发生发展 规律分析等是水稻药肥精准施用大数据原型平台的重要支撑。根据高并发需求， 综合应用地理信息大数据的高性能引擎（Geotrellis）的高并发处理模型（Akka-actor） 对相应数据进行处理、分析。

　　（4）完善后台管理平台；进行功能测试，优化交互逻辑与呈现风格，提供多 种服务方式；结合硬件环境与技术特点，采用适合的方式进行部署。

　　（5）搭建大数据平台运行所必须的集群环境，并安装管理集群的相关工具

　　1.3.2 技术路线

　　技术路线如图 1- 1 所示。首先，本文以华南西南八省市水稻药肥精准施用为 目标，调研具体的业务需求；为保障平台长期稳定运行，调研平台在安全性、可 扩展性、可维护性、完整性等方面所需的相关非功能需求；为确保平台的设计与 实现切实可行，最终较好的服务于用户，从技术限制和使用限制方面进行相关约 束。然后，调研常用大数据技术以及相应的应用场景，根据平台需求设计对应功 能模块，根据数据特点设计相应的存储方案，遴选各个环节中涉及到的常用技术 框架，最终设计出完善可行且易扩展的水稻药肥精准施用大数据平台架构。

　　最后，研究各开源软件的特点与使用方式，将其部署至高性能集群，为水稻药肥精准施用大数据原型平台稳定运行提供环境支持；整合华南西南等八省市多 源异构数据，统一存储管理地理基础数据集、地面监测数据集、主被动遥感观测 数据集及其衍生产品集、业务数据集，为平台提供可靠的数据源支撑；集成矢量 与栅格数据的切片技术，通过矢量切片为地理信息平台提供地图服务，通过栅格 切片提升客户端中渲染以栅格影像呈现的遥感产品的性能；整合高并发编程、分 布式处理技术，集成水稻病虫害预测预报、水稻长势分析、水稻病虫害发生发展 规律分析等专业模型；调研当前流行的可视化技术的使用方式与适用场景，结合 不同功能呈现特性，选用合适的开源框架，并利用多种渲染技术，保证结果展示 的直观性与简洁性。

　　1.3.3 结构安排

　　根据研究内容的内在逻辑联系，为保证论文的安排整体有序、思路清晰，沿 着拟定的研究思路，划分论文结构如下：

　　第一章，阐述大数据技术应用于水稻药肥精准施用研究的背景与可行性，其 在采集、存储、分析处理、应用等方面的现状，并交代了主要的研究内容与基本 技术路线，最终整理了本文的结构安排。

　　第二章，主要调研了水稻生产活动中不同参与者的业务需求，从系统的角度 分析了必须考虑的非功能性需求，为功能与体系结构的设计提供依据。

　　第三章，基于需求分析设计用户角色类型、核心业务功能与系统性功能、体 系结构（整合大数据技术、互联网技术、"3S"技术等技术），为后续具体实现奠 定框架基础。

　　第四章，整合选用的多种技术，构建大数据平台运行环境，整合多源异构数 据，实现核心业务功能及系统性功能，并结合不同功能的呈现特性进行相应数据 可视化。实现平台后，经过多次测试、优化，最终部署上线。

　　第五章，总结本文的主要成果，不足以及展望。

　　第二章 水稻药肥精准施用大数据原型平台需求分析
　　2.1 功能性需求
　　2.2 非功能性需求
　　2.3 设计约束
　　2.4 本章小结

　　第三章 水稻药肥精准施用大数据原型平台设计
　　3.1 功能组成设计
　　3.1.1 功能描述
　　3.1.2 用户角色
　　3.2 体系结构设计
　　3.2.1 核心技术遴选
　　3.2.1.1 大数据技术
　　3.2.1.2 数据库技术

　　3.2.1.3 开发语言与集成开发环境
　　3.2.1.4 "3S"技术
　　3.2.1.5 前端开发技术
　　3.2.1.6 后端开发技术
　　3.2.2 体系结构简述
　　3.3 数据库设计
　　3.3.1 数据整合
　　3.3.2 用户管理
　　3.3.3 示范区
　　3.3.4 商业服务
　　3.3.5 上报
　　3.4 非功能性需求保障设计
　　3.5 本章小结

　　第四章 水稻药肥精准施用大数据原型平台实现
　　4.1 平台环境搭建
　　4.2 数据整合
　　4.3 大数据分析处理
　　4.3.1 遥感大数据处理分析
　　4.3.2 水稻长势分析
　　4.3.3 病虫害预报
　　4.4 核心功能实现
　　4.4.1 用户管理
　　4.4.2 农情监测
　　4.4.3 示范区
　　4.4.4 预报
　　4.4.5 商业服务
　　4.4.6 上报
　　4.4.7 数据可视化
　　4.4.8 后台管理
　　4.5 测试
　　4.6 本章小结

　　第五章 结 论

　　5.1 总结

　　水稻生产过程中，农药化肥是防治病虫害提高产量的关键要素，盲目施用药 肥的现象在华南西南八省主要水稻种植区频繁发生。精准农业构想是现代农业的 未来发展方向，以水稻药肥精准施用为例，针对其相关的多源异构数据，大数据 技术在整合、存储、处理、应用等方面发挥了不可替代的作用。本文主要研究大 数据技术在精准药肥施用上的应用，经过多次测试与优化，研发的大数据基础平 台已初步投入使用，众多合作单位业已在平台中实名注册、上传数据、浏览专业 信息、反馈建议等。总结主要的工作与贡献如下：

　　（1）针对水稻药肥精准施用的应用场景，结合重点研发计划的项目要求，分 析整理了大数据平台所必须完成的功能；针对大数据平台本身，偏技术性的从可 维护性、可行性、可安全性等角度分析了相关非系统性功能；另外，就平台所使 用的技术和软硬件环境情况，对大数据平台的设计与使用进行相关约束分析。

　　（2）在需求分析的基础上，根据实际使用场景设计了使用平台的角色类型， 并分析不同角色之间的信息传递过程；总结了平台所需的关键技术，并设计了结 构上分层、前后端分离的体系结构，保证了高内聚低耦合，易于扩展，使后续开 发逻辑清晰能有序进行；根据实际业务设计了数据库以及用于保障平台可维护性 与稳定性的相关工具。

　　（3）搭建了大数据平台所需软硬件环境，进一步研发实现多源异构数据的整 合，从而在数据驱动的基础上实现大数据平台核心功能，最后通过测试后推向实 际应用。本文设计并实现的大数据平台集纳并创新区域特色抗性和药肥高效利用 水稻品种及高效栽培措施、药肥减施增效、精准轻简施用技术，科学布局示范辐 射稻区，集成药肥减施综合技术模式，发挥新媒体+大数据引领作用，高校与农科 院所科技人才支撑作用，构建网络化多元推广示范平台，规模化示范推广，有效 降低药肥用量，减少稻田面源污染，保障食品安全。

　　5.2 下一步工作的展望

　　水稻药肥精准施用是一个复杂的研究过程，虽然平台在技术流程上已趋于成 熟，且当前已积累了不少数据并实现了相关重要功能。但平台投入使用时间尚短， 一方面存在部分功能还需要完善的问题，另一方面存在需求变化的可能。因此，  总结平台的不足与进一步的完善方向如下：

　　（1）平台投入使用后要加强与农户、农技服务人员、科研院所的专家等相关 人士沟通，做好信息反馈渠道，不断完善功能需求分析，形成相关文档，以吸引 更多的用户使用。

　　（2）随着功能的迭代变化，平台在设计上也需不断改进，会不断整合新的技 术，也需形成明确的设计文档以便于不断完善。

　　（3）在自动化脚本获取的数据的完整性（如全国农技中心模式报表存在延迟 上报的情况）上需进一步检验，对平台所有数据的管理与共享需进一步完善。

　　（4）虽经过功能与压力测试，但还是难免出现 bug,仍需不同人员在不同环境 （不同浏览器，不同电脑等）进行大量测试

　　（5）平台当前对大数据的应用还处于入门阶段，主要由于积累数据时间较短 和模型研发的滞后，仍需加强对核心方法模型的集成与应用。

　　致 谢

　　时间如白驹过隙，转瞬即逝，不知不觉间在电子科技大学已度过了七个年头。 随着这篇论文的完成，我的研究生生活将要结束，回首往昔，感触颇多。研究生 三年时光不仅给了我学术科研能力的训练与培养，而且让我更加明确未来的人生 目标，在此谨向所有指导、关心、帮助过我的单位、老师、同学和朋友表示衷心 的感谢。感谢我的母校电子科技大学，"求实求真，大气大为"的校训一直激励着我。美 丽的校园环境，可靠的后勤保障，丰富的教育资源是我安心学习、不断进步的基 础。感谢我的导师何彬彬教授。

　　您营造了一个优良的教研室学习环境，让我逐渐 摆脱拖延症，养成自律的好习惯；您提倡勤奋好学、刻苦钻研、追求卓越，思路 和具体方法上的指导使我受益匪浅；您根据我自身的特点，尊重我对技术的追求， 给予了我参与重点研发计划的机会。在这个项目中，多次参加了交流会议，见识 了许多技术大牛的风采，开拓了眼界，在实际应用中获得了专业技术、文档撰写、 团队协作等能力的训练与提升。再次感谢您的教导和培养。

　　感谢陈建华教授在项目上提供的精心指导，您的思路、建议和经验给了我极 大帮助，提高了我的技术水平和工程实践能力；感谢行敏锋、全兴文、官雨薇、 廖展芒等老师提供的指导与生活上的关心；感谢卢琰、陈慧楠等老师及时的消息 通知；感谢班长许丁友认真负责的收发资料。 感谢参与重点研发计划的小伙伴们，张宏国、李彦樨、安刚强、范春全、冯 实磊、张永钦、姜怡忻。我们每周在一起进行研讨，总结项目进度与不足，研讨 技术难题，和你们一起工作的时光既充实又愉快。

　　感谢全国农业技术推广服务中心、南京农业大学、华南农业大学、诺普信公 司、贵州岑巩县国家级水稻杂交制种基地等合作单位提供的支持和帮助。 感谢教研室的所有同学，大家能共同学习相互帮助，不断的思维碰撞产生了 一个又一个好建议；感谢不断关心我的朋友们；感谢我的父母，您们的支持与鼓 励是我前进的动力。 最后，向百忙之中抽出时间对本文进行评审并提出宝贵建议的专家致以诚挚 的谢意。

　　参考文献
　　[1] 张辉， 张永江， 杨易。 美国、加拿大精准农业发展实践及启示[J]. 世界农业， 2018, 465（1）： 176-179.
　　[2] 吕烈武， 郭彬。 精准农业的研究应用现状及其在我国的发展方向[J]. 现代农业科技， 2008, 000（21）： 338-339,341.
　　[3] 赵春江， 薛绪掌， 王秀， 等。 精准农业技术体系的研究进展与展望[J]. 农业工程学报， 2003, 019（004）：7-12.
　　[4] Mintert, R. James, Widmar, et al. The Challenges of Precision Agriculture: Is Big Data the Answer?[C]. Southern Agricultural Economics Association, 2016.
　　[5] Sonka, Steve, Cheng, et al. Precision Agriculture: Not the Same as Big Data But. [J]. Farmdoc Daily, 2016.
　　[6] 郭利京， 王颖。 我国水稻生产中农药过量施用研究：基于社会和私人利益最大化的视角[J]. 生态与农村环境学报， 2018, 34（5）： 401-407.
　　[7] 剧成欣， 季红娟， 陆玉荣， 等。 中国水稻生产"双减"的目的意义与途径方法[J]. 中国农学 通报， 2017, 34（23）： 12-18.
　　[8] 周南华。 化肥施用与农产品质量安全[J]. 西南农业学报， 2004, 17（1）： 126-130.
　　[9] 何山， 孙媛媛， 沈掌泉， 等。 大数据时代精准施肥模式实现路径及其技术和方法研究展 望[J]. 植物营养与肥料学报， 2017, 23（6）： 1514-1524. [10] 刘万才。 中国农作物病虫测报 50 年[J]. 世界农业， 1999, （10）： 24-26.
　　[11] 刘宇， 刘万才， 韩梅。 农作物重大病虫害数字化监测预警系统建设进展[J]. 中国植保导 刊， 2011, 31（2）： 36-38.
　　[12] C. M. Gevaert, J. Suomalainen, J. Tang, et al. Generation of Spectral–Temporal Response Surfaces by Combining Multispectral Satellite and Hyperspectral UAV Imagery for Precision Agriculture Applications[J]. IEEE Journal of Selected Topics in Applied Earth Observations & Remote Sensing, 2017, 8（6）： 3140-3146.
　　[13] F. J. Mesas-Carrascosa, I. C. Rumbao, J. Torres-Sánchez, et al. Accurate ortho-mosaicked six-band multispectral UAV images as affected by mission planning for precision agriculture proposes[J]. International Journal of Remote Sensing, 2017, 38（8-10）： 2161-2176.
　　[14] X. Gan , L. I. Yong . Application of Big Data in Agricultural Informationization in Shandong Province under the Background of "Internet +"[J]. 亚洲农业研究（英文版）， 2019.
　　[15] 杨宇， 王蓉， 王志军。 大数据技术总结和标准化工作研究进展[J]. 电信网技术， 2016, （4）：7-12.
　　[16] Villar, Alejandro, Zarrabeitia, et al. Integrating and analyzing medical and environmental data using ETL and Business Intelligence tools[J]. 2018.
　　[17] G. V. Machado, ?. Cunha , A. C. M. Pereira, et al. DOD-ETL: Distributed On-Demand ETL for Near Real-Time Business Intelligence[J]. 2019.
　　[18] 方中纯， 赵江鹏。 基于Flume和HDFS的大数据采集系统的研究与实现[J]. 内蒙古科技大 学学报， 2018, 37（3）： 153-157.
　　[19] 马晓亮。 基于 Hadoop 与 Flume 的拒绝服务攻击检测研究[J]. 信息安全研究， 2018, 4（9）： 799-805.
　　[20] 刘晓刚。 农产品大数据的抓取和分析方法探索[J]. 农村经济与科技， 2018, 29（19）： 304-305.
　　[21] 张驰恒一。 基于多数据源的水利数据获取及大数据服务[D]. 西安： 西安理工大学， 2018.
　　[22] 张婷婷。 基于大数据的 Web 个性化推荐系统设计[J]. 现代电子技术， 2018, v.41; No.519（16）： 163-166.
　　[23] 李新卫。 基于 Hadoop 的音乐推荐系统的研究与实现[D]. 西安： 西安工业大学， 2018.
　　[24] 苏鹏涛， 朱兵， 蔡晶， 等。 一种电力量测类数据迁移到 HBase 的方法及系统[J]. 电子技术 与软件工程， 2018, 000（10）： 165-167.
　　[25] S. Bende, R. Shedge. Dealing with Small Files Problem in Hadoop Distributed File System[J]. Procedia Computer Science, 2016, 79: 1001-1012. [26] K. Bok, H. Oh, J. Lim. An efficient distributed caching for accessing small files in HDFS[J]. Cluster Computing, 2017, 20（20）： 3579-3592.
　　[27] Z. Shuo, M. Li, Z. Dafang. A strategy to deal with mass small files in HDFS[C] A strategy to deal with mass small files in HDFS. Proceedings - 2014 6th International Conference on Intelligent Human-Machine Systems and Cybernetics, IHMSC.1: 331-334. 310.1109/IHMSC.2014.1187.
　　[28] 薛涛。 基于 NoSQL 数据库的大数据查询技术实践探索[J]. 电脑编程技巧与维护， 2018, 401（11）： 91-92, 133.
　　[29] M. T. González?Aparicio, A. Ogunyadeka, M. Younas, et al. Transaction processing in consistency-aware user's applications deployed on NoSQL databases[J]. Human-centric Computing and Information Sciences, 2017.
　　[30] N. Q. Mehmood, R. Culmone, L. Mostarda. Modeling temporal aspects of sensor data for MongoDB NoSQL database[J]. Journal of Big Data, 2017, 4（1）： 8.
　　[31] F. Gessert, W. Wingerath, S. Friedrich, et al. NoSQL database systems: a survey and decision guidance[J]. Computer Science - Research and Development, 2017, 32（3-4）： 353-365.
　　[32] D. Kesavaraja, A. Shenbagavalli. Framework for Fast and Efficient Cloud Video Transcoding System Using Intelligent Splitter and Hadoop MapReduce[J]. Wireless Personal Communications, 2018, 102（2）： 1-16.
　　[33] Z. Manal, L. Jalal, E. Nourddine. A MapReduce-based Adjoint method for preventing brain disease[J]. Journal of Big Data, 2018, 5（1）： 27-.
　　[34] 代明竹， 高嵩峰。 基于 Hadoop、Spark 及 Flink 大规模数据分析的性能评价[J]. 中国电子 科学研究院学报， 2018, v.13;No.76（2）： 39-45.
　　[35] 冯兴杰， 王文超。 Hadoop 与 Spark 应用场景研究[J]. 计算机应用研究， 2018, 35（09）： 7-12.
　　[36] 吴炳方， 张淼， 曾红伟， 等。 大数据时代的农情监测与预警[J]. 遥感学报， 2016, 20（5）： 1027-1037.
　　[37] J. Ruan, H. Jiang, X. Li, et al. A Granular GA-SVM Predictor for Big Data in Agricultural Cyber-Physical Systems[J]. IEEE Transactions on Industrial Informatics, 2019, PP（99）： 6510-6521.
　　[38] J. A. Delgado, N. M. Short, D. P. Roberts, et al. Big Data Analysis for Sustainable Agriculture on a Geospatial Cloud Framework[J]. Frontiers in Sustainable Food Systems, 2019, 3（54）： 1-13.
　　[39] K. Perakis, F. Lampathaki, K. Nikas, et al. CYBELE – Fostering precision agriculture & livestock farming through secure access to large-scale HPC enabled virtual industrial experimentation environments fostering scalable big data analytics[J]. Computer Networks, 2020, 168（107035）： 1-10.
　　[40] 张波， 黄志宏， 兰玉彬， 等。 "互联网+"精准农业航空服务平台体系架构设计与实践[J]. 华南农业大学学报， 2016, 37（6）： 38-45.
　　[41] 朱亮， 钟艳雯， 贺炜， 等。 基于分布式的农业气象大数据平台设计与实现[J]. 湖北农业科 学， 2019, 58（6）： 128-130.
　　[42] 刘海启， 游炯， 王飞， 等。 欧盟国家农业遥感应用及其启示[J]. 中国农业资源与区划， 2018, 39（8）： 285-292.
　　[43] 邓兴鹏。 基于 hadoop 的分布式杂交水稻算法研究[D]. 武汉： 湖北工业大学， 2018.
　　[44] 崔媛。 基于大数据分析的农业气候与农作物产量变化研究[J]. 中国农业资源与区划， 2017, 38（2）： 112-117.
　　[45] 蔡丽霞。 基于大数据处理技术 Hadoop 平台玉米精准施肥智能决策系统的研究[D]. 长春： 吉林农业大学， 2015.
　　[46] 基于大数据思维的作物精准施肥研究与应用[J]. 贵州农业科学， 2018, 46（07）： 173.
　　[47] 罗巍。 2015 年全国露地蔬菜农药施用大数据分析[D]. 杭州： 浙江大学， 2016.
　　[48] 冯阳。 大数据技术在农技推广中的应用研究[D]. 北京： 中国农业科学院， 2016.
　　[49] 余久久。 软件工程简明教程[M]. 北京： 清华大学出版社， 2015. [50] K. Shvachko, H. Kuang, S. Radia, et al. The Hadoop Distributed File System[C]. 2010 IEEE 26th Symposium on Mass Storage Systems and Technologies （MSST）。
　　[51] J. Kepner, W. Arcand, D. Bestor, et al. Achieving 100,000,000 database inserts per second using Accumulo and D4M[J]. 2014:
　　[52] A. Fox, C. Eichelberger, J. Hughes, et al. Spatio-temporal indexing in non-relational distributed databases[C] Big Data, 2013 IEEE International Conference on. IEEE, 2013.
　　[53] GeoTrellis is a geographic data processing engine for high performance applications[EB/OL]. https://geotrellis.io.
　　[54] A. K. Aufdenkampe, E. Mayorga, D. G. Tarboton, et al. Model My Watershed and BiG CZ Data Portal: Interactive geospatial analysis and hydrological modeling web applications that leverage the Amazon cloud for scientists, resource managers and students[C]. Agu Fall Meeting AGU Fall Meeting Abstracts, 2016.

（如您需要查看本篇毕业设计全文，请您联系客服索取）