摘要
近年来,随着经济的迅速发展,人民生活水平日益?高,生活方式也悄然发生了许多变化,小轿车似乎已经成为每个家庭的必需品。中国的私家车保有量将近 2 亿辆。
由于汽车保有量巨大以及新车存在纳税、保值等问题,为二手车行业的发展?供了契机,二手车的交易量近年在逐渐上升,2019 年甚至有望突破 1500 万辆。随着成交量的增长,二手车物流的需求也急剧增长。同时,汽车物流行业都是被国际物流同行所公认的最复杂、最专业的领域。而中国物流商大多还在汽车物流的门槛之外,且大都是零散、杂乱的,没有统一的运输、管理标准。
A 公司主营二手车业务,成交量巨大,物流需求迫切,同时与众多物流供应商有合作。本文从公司实际业务出发,结合当前热门的微服务、数据分析建模等技术,设计并实现了符合 A 公司业务需求的二手车物流系统。具体内容如下。
首先,根据公司当前业务,进行系统的需求分析,将系统划分为包车服务模块,定线定价服务模块,竞拍服务模块以及基于数据分析建模的物流推荐模块。通过用例图以及用例表对系统的需求分析进行?述,为系统的设计与实现?供参考。
其次,根据需求分析结果,对系统进行设计与实现。系统开发设计方面,开发平台为 Java EE 平台,对服务进行边界划分,使用微服务架构,并使用当下主流的SpringBoot 框架;数据分析方面,本文主要使用 Python 的 NumPy、Pandas、SciPy 和matplotlib 程序库来做数据清理以及数据分析,使用 Sequential 模型进行分类预测。数据库设计与实现部分采用 E-R 图来?述数据表之间的关系,并在 MySQL 数据库建立相应的表结构;通过 UML 类图对模块进行详细设计,?述核心类以及类之间的关系;通过流程图来?述核心功能的具体执行过程。包车服务主要包括对包车路线的管理、运输能力的管控以及班次的自动生成等;定线定价服务主要包括对物流供应商以及定线定价路线的管理;竞拍服务主要包括竞拍周期管理,竞拍商品的建立、曝光、取消,竞拍结果统计,自动出价,订单匹配分发等,竞拍模型是整个物流系统的核心内容,通过竞拍模式承运的订单占总量的 70%以上;数据分析建模借助数据分析和机器学习模型,通过对已有数据进行训练、验证、测试,建立合理的数据模型,对线索数据进行预测分类。
最后,对系统进行测试。采用黑盒测试,为系统的各个模块进行测试用例设计并给出实际结果和预期结果。数据分析建模部分通过绘制 ROC 曲线进行衡量测试。系统性能借助性能魔方-mmTrix、Apache JMeter、emmagee 等工具进行测试,测试结果符合预期。
测试完成之后,系统已经进行了线上部署使用,据物流顾问、运营人员以及物流商家的反馈,目前系统能够满足业务需求,符合预期。
关键字:二手车物流系统, 竞拍, 数据分析, 预测分类
ABSTRACT
In recent years, with the rapid development of the economy, people's living standardshave been gradually improved, and many changes have taken place in their lifestyles. Itseems that cars have become a necessity for every family. China has nearly 200 millionprivate cars. Due to the huge car ownership and the problems of taxation and valuepreservation of new cars, it provides an opportunity for the development of the used carindustry. The transaction volume of used cars has gradually increased in recent years. Withthe increase in transaction volume, the demand for used car logistics has also increaseddramatically. At the same time, the automotive logistics industry is recognized as the mostcomplex and professional field by international logistics peers. Most of the Chineselogistics providers are outside the threshold of automobile logistics, and most of them arescattered and cluttered. There is no unified standard for transportation and management.
Company A is mainly engaged in second-hand car business, with huge transactionvolume and urgent logistics demand. At the same time, it has cooperation with manylogistics providers. Thesis article starts from the company's actual business requirements,combines current popular microservices, data analysis modeling and other technologies todesign and implement a used car logistics system that meets the company's business needs.
The details are as follows.
Firstly, according to the company's current business, the system requirements analysisis performed, and the system is pided into charter service modules, routing pricingservice modules, auction service modules, and logistics recommendation modules based ondata analysis modeling. The requirements analysis of the system is described by use casediagrams and use case descriptions, which provides a reference for the design andimplementation of the system.
Secondly, according to the results of the requirements analysis, the system is designedand implemented. In terms of system development and design, the development platform isthe Java EE platform, which pides the boundaries of services, uses a microservicesarchitecture, and uses the current mainstream SpringBoot framework. For data analysis,this article mainly uses Python's NumPy, Pandas, SciPy and matplotlib libraries for datacleaning and data analysis, forecast classification using Sequential model.The databasedesign and implementation uses E-R diagrams to describe the relationship between the dataentities, and establish the corresponding table structure in the MySQL. Detailed design of modules through UML class diagrams, describing core classes and relationships betweenclasses; describe the specific execution process of core functions through flowcharts.
Charter services mainly include the management of charter routes, capacity control andautomatic generation of shifts, etc; routing pricing services mainly include the managementof logistics providers and routing routes; auction services include the management ofauction cycles, the establishment of auctioned goods, exposure, cancellation, auction resultstatistics, automatic bidding, order matching and distribution, etc, the auction model is thecore content of the entire logistics system, and orders carried through the auction modeaccount for more than 70% of the total; data analysis and modeling with the help of dataanalysis and machine learning models, through training, verification, and testing ofexisting data, a reasonable data model is established to perform clue data forecastclassification.
Finally, test the system. Using black-box test,design test cases for each module of thesystem and give actual and expected results.The data analysis and modeling part measuresthe measurement by drawing the ROC curve. The system performance was tested bymeans of the mmTrix, Apache JMeter, emmagee, etc. The test results were in line withexpectations.
After the test is completed, the system has been deployed and used online. Accordingto feedback from logistics consultants, operators and logistics merchants, the currentsystem can meet business needs and meet expectations.
Keywords: Used Car Logistics System, Auction, Data Analysis, Forecast Classification
目录
第一章 绪论
1.1 背景及意义
1.1.1 课题背景
进入二十一世纪,中国经济发展迅速,人民生活质量日益?高,汽车也成了生活中必不可少的交通工具,虽然地铁、公交已经非常方便,但是私家车的数量仍然非常庞大。据中国汽车工业协会数据统计,2011 年到 2016 年期间,我国的汽车产量逐年增加,2016 年的产量更是突破 2800 万辆,同时年销售量也达到 2800 万辆[1].据公安部统计,2019 年上半年全国汽车保有量达 2.5 亿辆,私家车达 1.98 亿辆,全国 66 个城市汽车保有量超过 100 万辆,其中北京、成都等 11 个城市更是超过 300 万辆[2].
如此巨大的汽车保有量,也为二手车行业的发展奠定了基础。2018 年,1-8 月国内二手车成交量达到 892.66 万辆,同比增长 13.12%.2019 年二手车市场表现依旧非常出色,年底属于购车小高峰,二手车车商也会加大车源的推广力度,中国汽车流通协会预测,11、12 月的二手车成交量增长率不会低于 7%,2019 年全年成交量会在 1450万量左右,甚至突破 1500 万辆[3] .
由于各个城市的汽车保有量存在巨大的差异,相同车型、车况,不同城市的二手车,价格方面存在明显的差异,因此异地购车也成为了?高性价比的一种手段,A 公司也顺应形势,推出了"全国购"的业务,即从全国各地为买家择优选择车源,与此同时,二手车物流需求也随之而来。我国汽车物流正处于蓬勃发展阶段,市场上汽车物流公司众多[4],但是相对于"三通一达"等小件物流,汽车物流还存在一定的差距。
目前国内汽车物流商家众多,缺乏统一管理,整体水平残差不齐,物流成本较高[5]. A 公司?供了较大的二手车交易平台,但是公司没有自己的物流,只能通过与第三方物流供应商合作来?供物流服务。
同时,A 公司希望更多的买家能够使用公司的物流服务,目前公司通过线下顾问人员拨打电话询问的方式来给买家推荐公司的物流服务。这种方式存在明显的弊端,公司成交量较大,线下顾问人数有限,不可能做到给每个买家打电话,因此可能错失一部分物流订单,从目前的情况来看,平台成交的订单只有大约 10%会使用公司的物流服务。(为了方便区分,下文中将买家买车之后的订单信息叫做线索,使用 A 公司物流服务的物流订单称为订单。)也就是说,线索的转化率约为 10%.
因此,A 公司需要建立属于自己的物流管理系统,统一管理与公司合作的物流供应商,同时需要对公司线索数据进行分析建模,"精准"推荐公司的物流服务。
1.1.2 课题意义
A 公司目前发展状况良好,成交量大、业务范围广,合作的第三方物流供应商众多,现阶段存在以下几点问题。
第一,公司通过调用第三方物流商的接口来进行询价,物流商报价也通过接口来通知公司。时间效率低下,如果有讨价还价的环节,整个过程会很漫长,而且对于一些中小型物流公司,他们可能不具备?供询价接口这样的能力,限制了公司合作的物流商数量。
第二,对于合作的众多物流商没有统一的管理,物流费用没有标准化、统一化,三四线城市的订单没有物流商愿意承接,物流速度缓慢,同时?供的服务有限,例如只能送达物流商在各个城市的集散地,不能送到买家具体位置等。
第三,线下顾问人员推荐物流服务没有明确的目标,盲目的打电话,线索转化率低下。
基于以上问题,本文结合 A 公司的实际业务场景,开发了一套适用于公司目前业务的物流系统。首先废除掉了原来的调用物流商接口询价的方式,改用自己开发的APP,这样就可以接入更多的物流商并且整个过程更加简洁。其次对于与公司合作的物流商进行统一的管理,同时物流商?供更加丰富的服务,包括接车、送车等等,其中还将物流服务进行了更加细致的拆分以适应公司的业务,包括包车服务、定线定价服务、竞拍服务等等。最后对公司的线索数据进行分析和建模,实现"精准"推荐物流服务。
1.2 国内外研究现状
1.2.1 国内研究现状
根据国家统计局和汽车物流年鉴的数据显示,2016 年汽车行业物流费用率约为8.5%,2017 年我国汽车行业物流费用率约为 8%左右,据此推测 2016 年和 2017 年国内汽车物流市场规模为 7501 亿和 8332 亿[6].由此可见,国内汽车物流行业不仅规模巨大,而且还处在上升期。从目前的汽车保有量来看,二手车的数量也会急剧增加,二手车物流的需求也是必然趋势。然而就目前而言,我国汽车整车物流还处于行业发展的初级阶段,法规制度不完善、行业标准没有形成,与发达国家先进的整车物流业的一体化和整合化程度相比,国内汽车整车物流企业仍然处于数量众多、规模很小和运输服务效率低下的状况[7].
数据分析建模方面。进入信息时代以来,数据规模出现了爆炸式的增长,如此巨大的信息量,如何?取出有价值的信息,成为了各行业关注的焦点,随着数据挖掘技术的进步以及算法的成熟,数据分析建模在各个领域也取得了突破性的进展,研究价值也随之增加[8].
1.2.2 国外研究现状
国外的汽车物流发展,走在我国的前面,其中欧美地区最为典型。大众运输公司是国外汽车物流的典型代表,现已成为大众集团全球范围内物流供应链的?供者,它在世界各地有 15 个业务网点,承载着集团所有品牌的汽车物流运输业务,早在 2003年年运输量就达到了 310 万辆,并因此获得 211 万美元的利润。德国的 BLG 物流公司在汽车物流服务方面也有着丰富的经验,BLG 物流集团是戴姆勒-克莱斯勒公司在德国以及南美、南非、亚洲等地区最大的汽车物流供应商,同时,BLG 通过戴姆勒-克莱斯勒总部的数据公共平台 MBCC 系统,获取相关单位的订单信息,?供数目精确、时间合适和地点确切的服务,早在 2000 年左右,年营业额就能达到 6 亿欧元。
可以看出,国外的汽车物流相对于国内而言处于领先位置,并且拥有完备的信息系统。随着我国信息技术的发展,我国的汽车物流也该用技术武装自己,利用好互联网技术,建立物流信息系统,这样既可以优化企业内部资源配置又可以通过网络与物 流供应商相连接,?高运输效率,降低运输成本。
1.3 研究内容
A 公司目前合作的物流供应商数量偏多,管理困难,因此开发一套自己的物流管理系统,对众多物流供应商进行统一的管理,是非常有必要的,这也是本文研究的主要内容,该系统不仅需要满足当前的业务需求,而且要容易扩展,支持公司未来的发展和新的业务需求,同时?高线索到订单的转化率,具体有以下几点内容。
第一,建立统一的物流管理运输服务,其中根据运营模式的不同,主要分为包车服务模块、定线定价服务模块以及竞拍服务模块,其中竞拍服务是核心部分。
第二,对物流供应商进行统一的管理,包括物流商?供的服务,物流商能够承接的物流订单类型,物流商的合作、解约等。
第三,通过数据分析建模,对线索数据进行分类预测,让线下顾问能够有针对性的推荐公司物流服务。
1.4 论文组织结构
本文共六章,论文具体章节如下:
第一章 绪论。本章主要介绍论文的背景,选题意义,结合国内外汽车物流的发展现状,陈述本文的必要性,说明了本文的研究内容、研究目的等,最后给出全文的整体组织结构。
第二章 相关技术概述。本章主要介绍本文用到的相关技术,包括开发基于的平台 Java EE,微服务框架 SpringBoot,关系型数据库 MySQL,非关系型数据库 Redis,数据库持久层框架 MyBatis,以及数据分析建模相关内容等。
第三章 系统需求分析。本章首先介绍整体需求,概述整个系统设计的目的。其次结合 A 公司的具体业务,分析各个模块的需求,根据需求绘制用例图、用例表。
最后进行非功能性的需求分析,确保该系统是切实可行的。
第四章 系统设计与实现。本章主要介绍该系统的设计与实现,包括数据库的设计,各个功能模块的设计与实现,绘制类图、流程图等,以及通过数据分析建模,对线索数据进行预测分类,预测哪些线索可以转化为订单。
第五章 系统测试。本章主要进行测试,结合常用软件测试方法证明系统的可用性。数据分析建模方面则通过 ROC 曲线进行模型评估。
第六章 总结与展望。对本论文进行总结?述,总结论文中的不足之处,做进一步的改善展望。
第二章 相关技术概述
2.1 框架简介
2.1.1 Java EE 简介
2.1.2 SpringBoot 简介
2.1.3 MyBatis 简介
2.2 微服务简介
2.3 数据库简介
2.3.1 MySQL 简介
2.3.2 Redis 简介
2.4 数据分析与建模
2.5 本章小结
第三章 系统需求分析
3.1 系统整体业务概述
3.2 系统功能需求分析
3.2.1 包车业务需求分析
3.2.2 定线定价业务需求分析
3.2.3 竞拍业务需求分析
3.3 物流服务"精准"推荐需求分析
3.3.1 数据预处理
3.3.2 挖掘建模
3.4 系统非功能需求分析
3.4.1 系统响应分析
3.4.2 可扩展性分析
3.4.3 易用性分析
3.5 本章小结
第四章 系统设计与实现
4.1 系统整体架构设计
4.2 系统功能结构设计
4.3 数据库设计
4.3.1 E-R 图设计
4.3.2 物理表设计
4.4 系统功能设计与实现
4.4.1 包车服务的设计与实现
4.4.2 定线定价服务的设计与实现
4.4.3 竞拍服务的设计与实现
4.5 物流服务"精准"推荐设计与实现
4.5.1 数据预处理
4.5.2 挖掘建模
4.6 本章小结
第五章 系统测试
5.1 测试环境
5.2 系统功能测试
5.2.1 包车服务功能测试
5.2.2 定线定价服务功能测试
5.2.3 竞拍服务功能测试
5.3 物流服务"精准"推荐测试
5.4 系统非功能测试
5.5 本章小结
第六章 总结与展望
6.1 论文工作总结
本文以作者所在实习单位的实际业务需求为背景,结合微服务和数据分析建模开发了一套二手车物流系统。本文调研了国内外的二手车交易情况以及车辆物流现状,结合公司的实际业务,对系统需要实现的功能做了详细的需求分析,并以用例图以及用例表的形式进行了?述,以便在后续开发中作为指导,同时考虑到了系统的响应时间、扩展性以及易用性等。本文的技术选型在综合考虑实现的基础上使用了当下成熟且热门的语言以及框架。本文的设计在需求分析的基础上,划分了明确的业务边界,建立对应的数据库表结构,开发了包车服务、定线定价服务以及竞拍服务。最后对系统进行了功能以及性能的测试,测试通过之后进行了线上部署。部署之后,系统正常运转,能够很好的支持公司业务。在产生了线上数据之后,对线索转化率低的问题进行改进,采用数据分析建模的方法对数据进行分类预测,以此来?高线索转化率。
6.2 后续工作展望
本文介绍的系统在实际上线之后的使用和迭代开发中,发现还有改进的空间,需要不断迭代来完善系统,对未来的展望有以下几点:
(1)服务交互方面。本项目服务之间的调用是采用 REST 接口的形式,后续应该考虑使用 Dubbo,Dubbo 能够更加合理并且使得服务调用透明化,随着公司业务扩展,微服务的数量势必增多,Dubbo 更加适合这样的场景。
(2)物流服务推荐方面。目前的模型对于数据的分析能力有限,分类效果还有?升的空间。后续多参考一些数据分析建模方面的资料,?高模型对数据的分类预测能力;同时,可以考虑取消物流顾问,采取自动化推荐。
参考文献
[1] 闫会姝。 整车物流配送网络系统优化研究。 重庆工商大学,2017.
[2] 蒋菱枫。 2019 年上半年全国机动车保有量达 3.4 亿辆[N]. 人民公安报·交通安全周刊,2019-07-05(001)。
[3] 沈新竹。 成交量增加保值率下降 二手车市场喜忧参半[N]. 中国工业报,2019-12-06(001)。
[4] 隋丽莹。 长春市捷运物流公司发展战略研究[D].吉林大学,2019.
[5] 王德涛。 基于共同配送模式的整车物流配送路径优化研究[D].长安大学,2013.
[6] https://www.iyiou.com/p/68553.html[7] 李彦琦。 一汽集团乘用车整车多式联运的物流发展战略研究[D].吉林大学,2018.
[8] 刘熠。 基于 python 的 Web 数据挖掘技术研究与实现[D].长江大学,2018.
[9] 郑洪涛。 整车物流多式联运网络与运输方案优化研究[D].吉林大学,2019.
[10] 杨家炜。 基于 Spring Boot 的 Web 设计与实现[J]. 轻工科技, 2016(7):86-89.
[11] 王永和, 张劲松, 邓安明, et al. Spring Boot 研究和应用[J]. 信息通信, 2016(10):91-94.
[12] Kan Ji. Design and Implementation of Teaching Quality Evaluation System Based onSpringBoot[C]. Southwest Petroleum University,2019:444-452.
[13] 荣艳冬。关于 Mybatis 持久层框架的应用研究[J].信息安全与技术,2015,6(12):86-88.
[14] 刘增辉。MyBatis 从入门到精通[M].北京:电子工业出版社。2017.
[15] Akos Hochrein. Anatomy of a Microservice[M].Apress:2019-11-29.
[16] Akos Hochrein. From Monolith to Microservice[M].Apress:2019-11-29.
[17] https://www.oschina.net/translate/microservices-a-definition-of-this-new-architectural-term?cmp[18] 王磊。微服务架构与实践[M].北京:电子工业出版社。2016.
[19] 熊益益。 基于微服务架构的电商平台的研究与实现[D].北京邮电大学,2019.
[20] 李阳。 基于微服务架构的双语阅读平台的设计与实现[D].北京邮电大学,2019.
[21] 张婷。数据库技术丛书 MYSQL 5.7 从入门到实战 视频教学版[M].北京:清华大学出版社。2018.
[22] Yanli Wang. Cognitive Characteristics of the Big Data Analysis[C]. 2018 3rd ISSGBMInternational Conference on Information, Communication and Social Sciences.SingaporeManagement and Sports Science Institute(Singapore) 、 Information Engineering ResearchInstitute(USA),2018:119-123.
[23] Yue Zhang. An Analysis of Data Mining and Application in the Era of Big Data[C]. 2018 5thInternational Conference on Electrical & Electronics Engineering and Computer Science.Instituteof Management Science and Industrial Engineering: Computer Science and Electronic Technology International Society,2018:296-300.
[24] Xiangyu Han. Data Mining and Its Application Problem Analysis in the Era of big Data[C].
Institute of Management Science and Industrial Engineering.Proceedings of 2019 2nd InternationalConference on Intelligent Systems Research and Mechatronics Engineering(ISRME 2019)。Instituteof Management Science and Industrial Engineering: Computer Science and Electronic TechnologyInternational Society,2019:387-391.
[25] Muqiao Yang. Research Progress on Data Analysis in Big Data Technology[C]. Wuhan ZhichengTimes Cultural Development Co., Ltd.Proceedings of 2nd International Conference on ComputerEngineering,Information Science & Application Technology(ICCIA 2017)。Wuhan Zhicheng TimesCultural Development Co,2017:869-872.
[26] 李蕾。 大数据环境下相似重复记录数据清洗关键技术研究[D].南京邮电大学,2019.
[27] Guozhu Dong,Huan Liu. Feature Engineering for Machine Learning and Data Analytics[M].Taylor and Francis:2017-12-04.
[28] 吴燕宁。 基于中国五矿集团有限公司采购电子商务平台的供应商数据清洗研究[C]. 《工业建筑》编委会、工业建筑杂志社有限公司。《工业建筑》2018 年全国学术年会论文集(下册)。《工业建筑》编委会、工业建筑杂志社有限公司:工业建筑杂志社,2018:1075-1079+1083.
[29] Karthik Ramasubramanian,Abhishek Singh. Feature Engineering[M].Apress:2018-12-13.
[30] https://www.jianshu.com/p/ab89a675c00a[31] (美)爱丽丝·郑,(美)阿曼达·卡萨丽著。精通特征工程[M].北京:人民邮电出版社。2019.
[32] 庄嘉盛译;杨琳责任编辑;(土耳其)锡南·厄兹代米。图灵程序设计丛书 特征工程入门与实践[M].人民邮电出版社。2019.
致谢
时光荏苒、白驹过隙,三年的研究生生活已经接近尾声,经过反复打磨,论文终于完稿,在学习、实习以及撰写论文的时间里,有太多人给予了我帮助和鼓励,在此,我想向他们表达我诚挚的谢意。
首先,感谢我的导师霍秋艳老师,霍老师是一个和蔼、耐心的人,从论文的选题,中期答辩以及后期的撰写,当遇到问题的时候,不论是当面请教还是通过微信、邮件等方式,霍老师总会第一时间回复、耐心指导。在我?交开题报告、中期报告以及论文的时候,霍老师会将其中每个细小的问题标注出来,说明问题所在,在此,发自内心的感谢霍老师的指导。
其次,感谢在我实习时候公司的领导和同事,实习期间如果需要请假,领导和同事都非常支持我的学业,同事也会分担我的开发任务。在系统的开发设计方面,他们也给予我帮助,帮助我进行业务的理解,技术难点的指导等,为我论文的完成?供了很大的帮助,非常感谢公司的领导和同事。
再次,感谢我的同学们,在我论文遇到瓶颈的时候,他们会和我一起讨论,给我?出建议、鼓励我,感谢我的同学们对我的帮助。
最后,感谢家人的理解、支持和关心,正是他们的关爱和照顾,让我能够全身心的投入到学习中,专心撰写论文,顺利完成自己的学业,感谢家人们的支持。
马上就要毕业了,希望在今后的工作中,铭记师长们的敦敦教诲,刻苦努力,做一名真正的西电人,回报社会。
(如您需要查看本篇毕业设计全文,请您联系客服索取)