探析Hadoop 技術(shù)在鐵路信息化建設(shè)中的作用論文
前言
我國(guó)鐵路信息化建設(shè)經(jīng)過(guò)幾十年的發(fā)展，已經(jīng)形成多個(gè)較為未穩(wěn)定的系統(tǒng)，如辦公自動(dòng)化系統(tǒng)(OA)、運(yùn)輸生產(chǎn)計(jì)劃系統(tǒng)(FOMS)、鐵路運(yùn)輸管理信息系統(tǒng)(TIMS)、鐵路列車(chē)調(diào)度指揮系統(tǒng)(TDCS)、鐵路車(chē)輛管理系統(tǒng)(CMIS)、鐵路客票發(fā)售和預(yù)定系統(tǒng)(PMIS)、機(jī)務(wù)、工務(wù)、電務(wù)等管理信息系統(tǒng)以及中國(guó)鐵路總公司站和12306鐵路客戶(hù)服務(wù)中心等，提高了鐵路管理和決策的智能化程度，但在鐵路信息化建設(shè)之初，由于缺乏統(tǒng)籌規(guī)劃，各信息系統(tǒng)的建設(shè)通常以業(yè)務(wù)部門(mén)為界限，各個(gè)系統(tǒng)之間的業(yè)務(wù)協(xié)同及數(shù)據(jù)交互處于割裂狀態(tài)，隨著業(yè)務(wù)領(lǐng)域的不斷拓展，由于各時(shí)期所采用的開(kāi)發(fā)技術(shù)互不相同，硬件及平臺(tái)的異構(gòu)性等原因暴露出鐵路在信息化建設(shè)方面存在的一些問(wèn)題：
(1)由于各個(gè)業(yè)務(wù)信息系統(tǒng)是獨(dú)立建設(shè)的，每個(gè)都自成體系，導(dǎo)致各個(gè)系統(tǒng)間包括系統(tǒng)內(nèi)的信息資源不能實(shí)現(xiàn)有效整合。系統(tǒng)軟件專(zhuān)用，數(shù)據(jù)庫(kù)獨(dú)立，信息難以共享，綜合利用難度巨大。
(2)由于缺乏前期規(guī)劃，各業(yè)務(wù)信息系統(tǒng)的協(xié)議、編碼和接口規(guī)范不統(tǒng)一，難以實(shí)現(xiàn)信息共享和交換，對(duì)突發(fā)事件難以快速響應(yīng)。
(3)各業(yè)務(wù)系統(tǒng)的操作系統(tǒng)存在非常大的異構(gòu)性，操作系統(tǒng)有UNIX、Windows 等，也有大型機(jī)操作系統(tǒng)。
(4)數(shù)據(jù)庫(kù)管理系統(tǒng)也存在多種不同，如SQLServer、DB2、Oracle等，各部門(mén)之間數(shù)據(jù)資源共享很難實(shí)現(xiàn)。
1 Hadoop 分布式系統(tǒng)
隨著數(shù)據(jù)容量、數(shù)據(jù)維度的爆炸式增長(zhǎng)，傳統(tǒng)模式的數(shù)據(jù)處理方式已經(jīng)難以滿(mǎn)足數(shù)據(jù)分析、業(yè)務(wù)處理等在處理效率、響應(yīng)速度等方面的要求，在這種情況下，大數(shù)據(jù)與云計(jì)算的概念便應(yīng)運(yùn)而生。在鐵路領(lǐng)域，全國(guó)鐵路數(shù)據(jù)同樣滿(mǎn)足了容量巨大、維度復(fù)雜的特點(diǎn)，同時(shí)鐵路行業(yè)對(duì)業(yè)務(wù)響應(yīng)的要求也滿(mǎn)足了價(jià)值豐富、響應(yīng)快速的特性，這些均說(shuō)明大數(shù)據(jù)與云計(jì)算的方式在該領(lǐng)域同樣適用。但是當(dāng)前我國(guó)鐵路還停留在傳統(tǒng)的數(shù)據(jù)存儲(chǔ)形式，系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)也停留在傳統(tǒng)模式中，因此將大數(shù)據(jù)、云計(jì)算等先進(jìn)的技術(shù)應(yīng)用于鐵路運(yùn)輸領(lǐng)域是十分必要的。
Hadoop 是一個(gè)能夠?qū)Υ罅繑?shù)據(jù)進(jìn)行分布式處理的軟件框架，能夠使用戶(hù)在不了解分布式底層的情況下，開(kāi)發(fā)分布式程序，充分利用集群的威力高速運(yùn)算與存儲(chǔ)數(shù)據(jù)。與常規(guī)系統(tǒng)相比，Hadoop 采用并行執(zhí)行機(jī)制，大大提高了運(yùn)算效率。并且Hadoop 在檢驗(yàn)應(yīng)用層，處理異常錯(cuò)誤等方面充分考慮了“硬件故障是常態(tài)而非異態(tài)”的理念，利用集群實(shí)現(xiàn)了高容錯(cuò)率的特性。
通過(guò)Hadoop 集群視圖不難發(fā)現(xiàn)，在Hadoop 架構(gòu)中，存在大量的數(shù)據(jù)節(jié)點(diǎn)，每個(gè)數(shù)據(jù)節(jié)點(diǎn)都被管理節(jié)點(diǎn)按照某種規(guī)則分配一定的任務(wù)。在這種情況下，所有節(jié)點(diǎn)(或者所有活躍節(jié)點(diǎn))進(jìn)行并行運(yùn)算，用以解決復(fù)雜的大數(shù)據(jù)問(wèn)題。我國(guó)鐵路有6000 多個(gè)鐵路車(chē)站，且在鐵路運(yùn)輸中的作用各不相同，這就造成了鐵路數(shù)據(jù)存儲(chǔ)、業(yè)務(wù)處理方面存在操作困難、反應(yīng)遲緩等問(wèn)題。以車(chē)站為單位作為數(shù)據(jù)節(jié)點(diǎn)，或按照某種方式將車(chē)站進(jìn)行分類(lèi)形成節(jié)點(diǎn)區(qū)域恰恰能夠滿(mǎn)足Hadoop 架構(gòu)中的數(shù)據(jù)節(jié)點(diǎn)(DateNode)要求。同時(shí)，我國(guó)鐵路行業(yè)現(xiàn)行管理機(jī)制較為集中，在中國(guó)鐵路總公司層面建立相應(yīng)的名字節(jié)點(diǎn)(NameNode)能夠保證核心部門(mén)對(duì)全國(guó)鐵路運(yùn)輸狀況進(jìn)行統(tǒng)籌規(guī)劃與管理。
從軟件資源、硬件資源的角度來(lái)看，Hadoop 大數(shù)據(jù)框架有兩個(gè)主要特征：
(1)異構(gòu)性
a.Hadoop 所依賴(lài)的網(wǎng)絡(luò)環(huán)境可以是異構(gòu)的。目前對(duì)Hadoop 集群的應(yīng)用主要集中在局域網(wǎng)內(nèi)部。各種類(lèi)型的局域網(wǎng)，運(yùn)行不同的協(xié)議，這些不同協(xié)議的子網(wǎng)互聯(lián)成廣域網(wǎng)。
b. 組成Hadoop 集群的服務(wù)器硬件資源是異構(gòu)的。分布式系統(tǒng)由不同硬件類(lèi)型的服務(wù)器組成，導(dǎo)致存儲(chǔ)和運(yùn)算資源分配的不同。
c.服務(wù)節(jié)點(diǎn)所處的.軟件環(huán)境是異構(gòu)的。服務(wù)器的操作系統(tǒng)可以運(yùn)行Windows、Unix、Linux 等不同OS。同時(shí)，服務(wù)所使用的編程語(yǔ)言也可以不同，服務(wù)間通過(guò)協(xié)議接口進(jìn)行通
(2)服務(wù)節(jié)點(diǎn)共享資源
資源共享是形成分布式系統(tǒng)的主要?jiǎng)恿ΑＴ贖adoop 大數(shù)據(jù)集群中，數(shù)據(jù)資源分散存儲(chǔ)于不同物理服務(wù)器的磁盤(pán)上。在物理視圖上，數(shù)據(jù)是分散存儲(chǔ)的，而在邏輯視圖上，數(shù)據(jù)則是全局的統(tǒng)一的。這就是說(shuō)，數(shù)據(jù)“分布式存儲(chǔ)”這一特性對(duì)用戶(hù)來(lái)說(shuō)是透明的。
2 Hadoop 分布式系統(tǒng)的安全性
鐵路應(yīng)用Hadoop 技術(shù)的存在著一定的安全風(fēng)險(xiǎn)。首先，系統(tǒng)本身存在如網(wǎng)絡(luò)攻擊、系統(tǒng)漏洞等安全風(fēng)險(xiǎn);其次，客戶(hù)的隱私數(shù)據(jù)面臨泄露風(fēng)險(xiǎn)。鐵路企業(yè)既能夠獲取旅客和貨主的身份證號(hào)碼、聯(lián)系方式等基礎(chǔ)信息，又可以通過(guò)數(shù)據(jù)挖掘出旅客和貨主深層次的運(yùn)輸習(xí)慣等信息。
針對(duì)上述問(wèn)題，首先應(yīng)建立嚴(yán)格的數(shù)據(jù)存儲(chǔ)機(jī)制，并對(duì)數(shù)據(jù)存儲(chǔ)選擇加密性能比較高的加密算法進(jìn)行加密，同時(shí)采用數(shù)據(jù)安全隔離技術(shù)，如物理隔離、虛擬化和Multi-tenancy 等方式;其次建立嚴(yán)格的數(shù)據(jù)訪(fǎng)問(wèn)控制機(jī)制，使用技術(shù)手段依據(jù)不同權(quán)限做好敏感數(shù)據(jù)如客戶(hù)的名字、身份證號(hào)、聯(lián)系方式等的消隱工作;最后做好數(shù)據(jù)備份與恢復(fù)工作，實(shí)現(xiàn)快速的虛擬機(jī)恢復(fù)，支持文件級(jí)完整與增量備份。
3 結(jié)束語(yǔ)
綜上所述，Hadoop 技術(shù)實(shí)現(xiàn)了全路信息的資源共享，降低了投資成本和維護(hù)成本;各部門(mén)可根據(jù)自身發(fā)展需要，實(shí)現(xiàn)資源動(dòng)態(tài)配置，有效降低投資成本，簡(jiǎn)化內(nèi)部管理;各業(yè)務(wù)部門(mén)實(shí)現(xiàn)信息高度共享，既提高了生產(chǎn)效率，又增加了部門(mén)參與生產(chǎn)與決策的積極性。
【探析Hadoop 技術(shù)在鐵路信息化建設(shè)中的作用論文】相關(guān)文章：
信息科在醫(yī)院信息化建設(shè)中的作用論文08-26
地面數(shù)字電視技術(shù)的作用探析論文08-24
探析鐵路準(zhǔn)寬軌道岔的組裝技術(shù)論文05-21
新農(nóng)村建設(shè)中農(nóng)機(jī)技術(shù)推廣的作用論文09-18
林業(yè)技術(shù)發(fā)展在林業(yè)建設(shè)中的重要作用論文05-09
林業(yè)建設(shè)中林業(yè)技術(shù)發(fā)展的重要作用論文05-09
鐵路運(yùn)輸中技術(shù)創(chuàng)新作用論文09-25
信息化技術(shù)論文04-05