1. <rp id="zsypk"></rp>

      2. 云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理技術(shù)研究論文

        時間:2021-04-16 17:58:26 論文 我要投稿

        云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理技術(shù)研究論文

          隨著計(jì)算機(jī)技術(shù)和互聯(lián)網(wǎng)技術(shù)的發(fā)展和應(yīng)用,網(wǎng)絡(luò)信息和數(shù)據(jù)量正在高速增長。傳統(tǒng)的并行計(jì)算、分布計(jì)算等方式由于各種限制,往往都難以滿足實(shí)際的計(jì)算要求;诖耍捎没谠朴(jì)算環(huán)境下的大規(guī)模數(shù)據(jù)處理技術(shù),能夠有效的打破這些限制,從而實(shí)現(xiàn)更加高效、快速的數(shù)據(jù)計(jì)算。

        云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理技術(shù)研究論文

          1云計(jì)算環(huán)境下大數(shù)據(jù)處理模式

          1.1大規(guī)模廉價計(jì)算平臺

          利用虛擬化技術(shù),能夠?qū)崿F(xiàn)大規(guī)模廉價計(jì)算平臺,將存儲、應(yīng)用程序、網(wǎng)絡(luò)、計(jì)算等資源作為虛擬化實(shí)體。對閑散的計(jì)算資源進(jìn)行抽象,使之形成相互之間完全獨(dú)立的虛擬服務(wù)器實(shí)例,從而獨(dú)立的完成數(shù)據(jù)處理和計(jì)算。通過這種方式,就能夠?qū)崿F(xiàn)底層硬件的虛擬化。構(gòu)建可擴(kuò)展計(jì)算節(jié)點(diǎn)資源池,并在其中實(shí)現(xiàn)集成管理虛擬計(jì)算流程和計(jì)算節(jié)點(diǎn)。這樣,大規(guī)模數(shù)據(jù)子處理任務(wù)就能夠完成實(shí)時遷移、資源轉(zhuǎn)換、系統(tǒng)監(jiān)控和任務(wù)部署。

          建設(shè)大規(guī)模計(jì)算平臺的過程,也是云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理的一個重要步驟。具體來說,首先要對數(shù)據(jù)處理需要的資源進(jìn)行參數(shù)化的配置,根據(jù)相應(yīng)的要求進(jìn)行定制。通過這一過程,用戶能夠獲取自己需要的資源。在不同的操作模式下為用戶提供參數(shù)服務(wù)。在設(shè)置參數(shù)完成定制之后,以此為基礎(chǔ),在大規(guī)模數(shù)據(jù)處理的時候,部署存儲和計(jì)算資源,設(shè)定計(jì)算流程和數(shù)據(jù)處理方案。將相關(guān)參數(shù)設(shè)置信息在存儲和計(jì)算資源的配置文件當(dāng)中進(jìn)行寫入之后,以此對計(jì)算流程進(jìn)行分配,從而在計(jì)算節(jié)點(diǎn)中啟動相關(guān)的資源,并且管理和部署計(jì)算節(jié)點(diǎn)的定制處理服務(wù)。

          部署工具通過網(wǎng)絡(luò)連接到目標(biāo)計(jì)算節(jié)點(diǎn)和計(jì)算流程,然后執(zhí)行大規(guī)模數(shù)據(jù)處理方案。然后根據(jù)相應(yīng)的方案,通過代碼對存儲和計(jì)算資源進(jìn)行分配和執(zhí)行。將部署在計(jì)算節(jié)點(diǎn)進(jìn)行進(jìn)行啟動,利用網(wǎng)絡(luò)在各個計(jì)算節(jié)點(diǎn)發(fā)送數(shù)據(jù)處理命令,從而完成調(diào)度和部署計(jì)算流程的工作。

          1.2Map Reduce技術(shù)的支持

          采用Map Reduce分布式和并行式編程模型,從而在模型內(nèi)部對任務(wù)容錯處理、計(jì)算節(jié)點(diǎn)負(fù)載均衡、空間局部性優(yōu)化、并行任務(wù)調(diào)度等方加以實(shí)現(xiàn)。在Map Reduce的`開發(fā)過程中,只需對Map、Reduce兩個接口進(jìn)行定義,通過計(jì)算機(jī)集群,對用戶編寫程序進(jìn)行運(yùn)行,拆分大規(guī)模數(shù)據(jù)集合,使之形成若干數(shù)據(jù)片段,從而得到一系列鍵值對[4]。然后向一個Map任務(wù)中分配一個數(shù)據(jù)片段,在Map Reduce框架下,向大規(guī)模計(jì)算集群中的節(jié)點(diǎn)進(jìn)行子任務(wù)的分配。最后,結(jié)合得到的鍵值對進(jìn)行計(jì)算,生成鍵值對集合,向Reduce當(dāng)中進(jìn)行輸出。

          Reduce當(dāng)中每一個Reduce任務(wù),都會向二元組集合當(dāng)中進(jìn)行分配,輸入集合片段,運(yùn)行Reduce函數(shù),輸出二元組鍵值對。如果數(shù)據(jù)處理任務(wù)失敗,也能夠自動重新進(jìn)行計(jì)算。在大規(guī)模數(shù)據(jù)處理當(dāng)中,是高度并行操作Map的,這一步驟對于大規(guī)模數(shù)據(jù)的高效處理來說,具有不可忽視的意義;谠朴(jì)算環(huán)境下,對規(guī)模數(shù)據(jù)信息大都能夠達(dá)到TB級別或GB級別。在長時間處理大規(guī)模數(shù)據(jù)的時候,如果發(fā)生數(shù)據(jù)處理任務(wù)失敗的情況,能夠防止發(fā)生計(jì)算任務(wù)重新執(zhí)行的情況。由于數(shù)據(jù)塊是被復(fù)制的,因此在容錯性方面,還會關(guān)系到負(fù)載均衡的情況。

          2云計(jì)算環(huán)境下大數(shù)據(jù)處理的框架模型

          在大規(guī)模數(shù)據(jù)資源和計(jì)算資源當(dāng)中,對云計(jì)算技術(shù)、計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)進(jìn)行引入,建立大規(guī)模數(shù)據(jù)處理框架模型。主要包含了兩級結(jié)構(gòu),其一是虛擬資源體系、大規(guī)模廉價計(jì)算機(jī)集群,其二是大規(guī)模數(shù)據(jù)處理分析的處理監(jiān)測管理體系、數(shù)據(jù)處理服務(wù)請求、以及相應(yīng)的基礎(chǔ)架構(gòu)。利用限制的計(jì)算機(jī)資源,對虛擬資源層和物理設(shè)備進(jìn)行構(gòu)建,從而形成最底層的物理資源,形成同構(gòu)的數(shù)據(jù)處理資源池或接近于同構(gòu)的數(shù)據(jù)處理資源池。在第二級結(jié)構(gòu)當(dāng)中,最為重要的就是軟件體系,能夠?yàn)榇笠?guī)模數(shù)據(jù)處理提供服務(wù)。采用Hadoop核心技術(shù),對數(shù)據(jù)處理接口進(jìn)行編寫。通過這種方式,在不同的學(xué)科和領(lǐng)域當(dāng)中,能夠提供相應(yīng)的大規(guī)模數(shù)據(jù)處理服務(wù),從而使用戶能夠享有良好的計(jì)算平臺軟件支持。

          在這一框架的設(shè)計(jì)與實(shí)現(xiàn)當(dāng)中,對Hadoop分布式開源計(jì)算機(jī)框架進(jìn)行了應(yīng)用,對其中的HDFS分布式文件系統(tǒng),以及Map Reduce進(jìn)行應(yīng)用,從而對大規(guī)模數(shù)據(jù)處理業(yè)務(wù)進(jìn)行處理和協(xié)調(diào)。在計(jì)算節(jié)點(diǎn)當(dāng)中,對放置在Map Reduce任務(wù)進(jìn)行映射,對大規(guī)模數(shù)據(jù)進(jìn)行劃分,使之形成若干子塊,并對數(shù)據(jù)塊的數(shù)量、規(guī)格等參數(shù)加以掌握。通過HDFS功能,可以在每一個計(jì)算節(jié)點(diǎn)當(dāng)中,對數(shù)據(jù)塊副塊進(jìn)行智能的放置,同時針對各個節(jié)點(diǎn),對具體的角色進(jìn)行設(shè)計(jì)。在大規(guī)模數(shù)據(jù)處理的過程當(dāng)中,需要利用Reduce函數(shù)、Map函數(shù)、以及相關(guān)的程序進(jìn)行分布化處理。在Hadoop當(dāng)中,為了對Map Reduce進(jìn)行運(yùn)行,提供了一個API進(jìn)行支持。

          3結(jié)論

          在當(dāng)前信息化的時代背景當(dāng)中,計(jì)算機(jī)和網(wǎng)絡(luò)的廣泛應(yīng)用,使得各個領(lǐng)域中的數(shù)據(jù)量和信息量與日倶增。而對于這些海量的大規(guī)模數(shù)據(jù)來說,利用傳統(tǒng)的數(shù)據(jù)處理方式,往往難以取得十分理想的處理效果。基于此,可在云計(jì)算環(huán)境下,開發(fā)和利用相應(yīng)的大規(guī)模數(shù)據(jù)處理技術(shù),以此來支持社會各個領(lǐng)域當(dāng)中的大規(guī)模數(shù)據(jù)處理需要,從而數(shù)字化的時代當(dāng)中,始終保持較高的工作效率和良好的工作效果。

        【云計(jì)算環(huán)境下大規(guī)模數(shù)據(jù)處理技術(shù)研究論文】相關(guān)文章:

        云計(jì)算環(huán)境下的分布存儲技術(shù)研究論文11-06

        云計(jì)算環(huán)境下網(wǎng)絡(luò)技術(shù)研究論文11-07

        分析論文:云計(jì)算環(huán)境下大數(shù)據(jù)06-26

        云計(jì)算環(huán)境下的數(shù)據(jù)挖掘研究論文10-28

        云計(jì)算環(huán)境下的網(wǎng)絡(luò)技術(shù)及其發(fā)展論文06-02

        云計(jì)算環(huán)境下軟件開發(fā)架構(gòu)應(yīng)用與設(shè)計(jì)論文11-17

        大數(shù)據(jù)環(huán)境下云會計(jì)的論文06-10

        云計(jì)算環(huán)境數(shù)據(jù)安全研究論文11-03

        網(wǎng)絡(luò)云計(jì)算技術(shù)研究現(xiàn)狀綜述論文10-30

        99热这里只有精品国产7_欧美色欲色综合色欲久久_中文字幕无码精品亚洲资源网久久_91热久久免费频精品无码
          1. <rp id="zsypk"></rp>