「工经之声」大数据技术及其行业应用：基于铁路领域的概念框架研究
作 者
马丽梅 史丹 高志远 李华杰
发表于 《北京交通大学学报(社会科学版)》
2019年03期
摘要
想象一下，铁路系统如何通过大数据实现智能化飞跃？本文总结大数据关键技术架构，涵盖数据获取、处理、分析和应用，构建铁路大数据应用体系，包括数据获取层、平台层和应用层，并刻画处理流程。该框架将推动大数据技术在铁路行业落地，提升数据资源经营水平，为运输安全、客货营销和效率优化提供参考。建议强化顶层设计，借鉴行业经验，分阶段实施大数据策略。
关键词
工业大数据；Spark框架；大数据产业；铁路大数据
基金项目
国家自然科学基金重大应急项目“我国经济高质量发展与产业结构调整升级研究”（71841015）；中国社会科学院工业经济研究所京津冀智库课题“大数据应用及实验室建设”（GJSZK201905）。
一、引言
您是否想过，大数据如何重塑传统行业？近年来，大数据从2011年兴起，飞速发展。我国政府高度重视，国务院印发《促进大数据发展行动纲要》等文件，20多个省份出台规划，大数据产业快速成长。大数据具有4V特征：体量大、种类多、速度快、真实性。在经济领域，大数据应用分为两类：宏观预测和行业关联。宏观预测通过搜索引擎和网络爬虫预测GDP、失业率等；行业关联则挖掘用户特征，优化企业经营。铁路作为传统行业，大数据应用潜力巨大，本文探索其概念框架，推动行业升级。
二、大数据的技术架构
大数据处理按时间跨度分为流处理、交互式分析和批处理，核心组件包括Hadoop和Spark。架构分为四层：数据获取、处理、模型和应用。数据获取通过日志采集和网络爬虫；处理层利用Hadoop和Spark进行分布式计算；模型层涉及数据挖掘和机器学习；应用层通过云计算服务各领域。这一架构为铁路大数据提供基础。
图1 大数据技术架构
三、案例研究：铁路大数据的应用框架探索
我国铁路数据规模庞大，涵盖机务、车务等模块，构建大数据需考虑跨部门协作。铁路大数据内涵包括技术应用和思维转变，从传统分析向智能化升级。特征包括泛在性、地域性和交叉性。框架设计基于产业链，分为数据获取层、平台层和应用层。
表1 部分铁路相关业务系统
图2 铁路大数据系统架构
数据获取层通过传感器和信息系统采集数据，如6A系统和CMD系统，实现全路数据集成。平台层通过批量计算和内存计算处理数据，支持客运和基础设施分析。应用层深入经营、安全、效率和客户服务，实现多级决策。
图3 机车车载安全防护系统
处理流程包括获取、预处理、管理、建模和应用。例如，客运数据清洗后聚类预测客流；基础设施数据挖掘故障模式。大数据应用可拓展至旅游和宏观经济，提升附加值。
四、总结及政策建议
本文构建铁路大数据概念框架，总结内涵、架构和流程。建议：强化顶层设计，借鉴电信、电力行业经验，分阶段实施。行动起来，加入大数据革命，共同推动铁路智能化！
参考文献
[1]麦肯锡.麦肯希大数据指南[M].北京：机械工业出版社,2016.
[2]ASKITASN,ZIMMERMANN K F.Google Econometrics and Unemployment Forecasting[J].Applied Economics Quarterly,2009,55(2)：107-120.
[3]MCLAREN N,SHANBHOGUER.Using Internet Search Data as Economic Indicators[J].Bank of England Quarterly Bulletin,2011,51(2)：134-140.
[4]ICENTE M R,LÓPEZ-ÉMENÉNDEZAJ,PÉREZR.Forecasting Unemployment with Internet Search Data：Does It Help to Improve Prediction When Job Destruction is Skyrocketing?[J]Technological Forecasting & Social Change,2015,92(92)：132-139.
[5]CAVALLO A,RIGOBON R.The Billion Price Project：Using Online Prices for Measurement and Research[J].Journal of Economic Perspective,2016,30(2)：151-178.
[6]姜文杰,赖一飞,王恺.基于百度指数的房地产价格相关性研究[J].统计与决策,2016,(2)：90-93.
[7]李凤岐,李光明.基于搜索行为的经济指标预测方法[J].计算机工程与应用,2017,53(6)：215-222.
[8]ANTWEILER W,FRANK M Z.Is All That Talk Just Noise? The Information Content of Interest Stock Message Boards[J].The Journal of Finance,2004,59(3)：1259-1294.
[9]GILBERT E,KARAHALIOS K.Widespread Worry and the Stock Market[R].Palo Alto：Association for the Advancement of Artificial Intelligence,2010.
[10]MOAT H S,CURMEC,STANLEY H E,et al.Anticipating Stock Market Movement with Google and Wikipedia[J].Nonlinear Phenomenain Complex Systems：From Nano to Macro Scale,2014,(1)：47-59.
[11]LIY,ARORAS,YOUTIEJ,et al.Using Web Mining to Explore Triple Helix Influences on Growth in Small and Mid-size Firms[J/OL].Technovation,2016,http://dx.doi.org/10.1016/j.technovation.2016.01.002.
[12]CHITTARANJAN G,BLOM J,GATICA-PEREZD.Mining Large-scale Smartphone Data for Personality Studies[J].Personal and Ubiquitous Computing,2013,17(3)：433-450.
[13]李杰.工业大数据——工业4.0时代的工业转型与价值创造[M].邱伯华等译.北京：机械工业出版社,2015.
[14]吴力波,周阳,陈海波,杨增辉.基于智能电网大数据的工业企业大气污染排放特征研究[J].中国环境管理,2016,(4)：37-42.
[15]郭雷风.面向农业领域的大数据关键技术研究[D].北京：中国农业科学院农业信息研究所,2016.
[16]田歆,汪寿阳,额尔江,丁玉章.零售大数据与商业智能系统的设计、实现与应用[J].系统工程理论与实践,2017,37(5)：1282-1293.
[17]周辉宇.基于大数据规则挖掘的交通拥堵治理研究[J].统计与信息论坛,2017,(5)：96-101.
[18]谢康,肖静华,王茜.大数据驱动的企业与用户互动研发创新[J].北京交通大学学报(社会科学版),2018,17(2)：18-26.
[19]朱洁,罗华霖.大数据架构详解：从数据获取到深度学习[M].北京：电子工业出版社,2016.
[20]李华杰,史丹,马丽梅.基于大数据方法的经济研究：前沿进展与研究综述[J].经济学家,2018,(6)：96-104.
[21]EMC Education Services.数据科学与大数据分析[M].曹逾等译.北京：中国工信出版集团、人民邮电出版社,2016.
[22]刘俊等.智能铁路大数据分析平台研究[G]//中国智能交通协会.第十一届中国智能交通年会大会论文集,北京：电子工业出版社,2016：105.
[23]申瑞源.机车车载安全防护系统(6A系统)总体方案研究[J].中国铁路,2012,(12)：1-6.
[24]王同军.中国铁路大数据应用顶层设计研究与实践[J].中国铁路,2017,(1)：8-16.
马丽梅
深圳大学中国经济特区研究中心讲师。研究方向：产业经济学。
史丹
中国社会科学院工业经济研究所所长、研究员、博士生导师。研究方向：产业经济学。
高志远
中国铁道科学研究院运输及经济研究所助理研究员。研究方向：运输经济学。
李华杰
中国社会科学院工业经济研究所。
马丽梅,史丹,高志远,李华杰.大数据技术及其行业应用:基于铁路领域的概念框架研究[J/OL].北京交通大学学报(社会科学版),2019(03):1-10[2019-07-25].https://doi.org/10.16797/j.cnki.11-5224/c.20190717.002.
相关问答
大数据的应用技术有哪些?
简单说有三大核心技术:拿数据,算数据,卖数据。通用化的大数据处理框架,主要分为下面几个方面:数据采集与预处理、数据存储、数据清洗、数据查询分析和数据可...
大数据应用需要依托的新有哪些技术?
主要在软件系统上,依托的技术包括:人工?智?能、互?联?网+、大数据收集技?术、云计?算数据分析技?术,移动互?联网应用技?术等等,都是比较前沿、热门的技术,从...
专科大数据技术与应用基础知识?
如果您选择专科学习大数据技术与应用,您将学习以下基础知识:1.数据存储与管理:学习关系型数据库(如MySQL、Oracle)和非关系型数据库(如MongoDB、Redis)...
大数据技术应用要学习什么课程?
整理了关于大数据的一些学习资料,有需要的小伙伴可以看一下。一、2018新版云计算大数据学习路线图---每阶段市场价值及可解决的问题二、2018新版云计算大数据...
中国大数据应用世界排名?
“中国与世界其他国家一样,都处在大数据发展的初期阶段。在收集和应用数据方面,中国表现不俗。但在处理分析数据的技术和工具方面,中国与发达国家相比还比较落...
大数据技术专业怎么样?大数据技术与应用专业的就业方向/_天...
[回答]零售金融方向零售金融与互联网电商虽然同属于消费大范畴领域,但是具体而言,零售电商的范围要小于互联网电商,比互联网电商更需要精准对接消费群体和...
大数据技术与应用学什么?
大数据技术与应用主要围绕智慧城市、城市交通、医疗、金融、城市规划等各领域中大数据技术的应用,系统总结了数据科学、大数据技术及其在城市建设各领域中应用...
大数据技术与应用考研方向?
大数据专业全称是数据科学与大数据技术专业。其考研方向有计算机科学与技术,数据科学和信息技术,软件工程,数据科学。数据科学与大数据技术是普通高等学校本...
计算机应用技术与大数据应用技术哪个专业好?就业前景如何。哪个更广泛一点?哪个更好就业?
计算机应用技术包括大数据应用技术,同时包括物联网技术,人工智能技术,每个专业方向都是前景非常好的,就看你对哪个方向感兴趣了,还要考虑你所在的大学哪个专...
大数据应用技术大专毕业能干嘛?
可以做电脑教室,电脑维修技术员都行可以做电脑教室,电脑维修技术员都行