發(fā)布源:深圳維創(chuàng)信息技術(shù)發(fā)布時間:2020-09-16 瀏覽次數(shù): 次
而且在大多數(shù)情況下,必須對工作人員進行培訓(xùn),讓其獲得新的工作技能。
調(diào)研機構(gòu)Enterprise Strategy Group的高級分析師Mike Leone表示,總體而言,云計算中的大數(shù)據(jù)可以降低內(nèi)部部署數(shù)據(jù)中心的成本,并非運行在云端的大數(shù)據(jù)工作負載或項目都需要企業(yè)擁有一名大數(shù)據(jù)專家,但也有一些企業(yè)需要數(shù)據(jù)專家的幫助,例如涉及Hadoop。
Leone表示,雖然在云端使用五節(jié)點集群替換五節(jié)點Hadoop集群非常簡單,但卻出現(xiàn)了管理方面的挑戰(zhàn),尤其是軟件互操作性方面的管理挑戰(zhàn)。
云端獲得大數(shù)據(jù)的四大技能 根據(jù)IT培訓(xùn)機構(gòu)Linux Academy公司的大數(shù)據(jù)分析主管Manisha Sule的說法,IT團隊應(yīng)該把重點放在四大技能上,以便在云計算領(lǐng)域運行大數(shù)據(jù)。
管理:工作人員知道如何管理Hadoop和NoSQL變得至關(guān)重要。
工作人員還需要仔細配置和管理(諸如計算、存儲和網(wǎng)絡(luò)等)基礎(chǔ)設(shè)施組件,以支持大數(shù)據(jù)項目。
Sule說,使用Hadoop分布式文件系統(tǒng)和NoSQL數(shù)據(jù)庫的經(jīng)驗也是有幫助的,這兩者都可以存儲大量的數(shù)據(jù)。
開發(fā):Sule表示,大數(shù)據(jù)開發(fā)人員應(yīng)該具有Python、Scala和Java等語言的編程經(jīng)驗。
此外,具有使用亞馬遜網(wǎng)絡(luò)服務(wù)(AWS)Kinesis和Lambda等產(chǎn)品的經(jīng)驗也是一個優(yōu)勢,因為它們提供了基于微服務(wù)架構(gòu)的實時處理的替代方案。
分析:云端大數(shù)據(jù)分析需要統(tǒng)計學、數(shù)據(jù)挖掘、機器學習、操作研究、計算機編程方面的專業(yè)知識。
Sule說,數(shù)據(jù)科學家和分析師以及機器學習和人工智能工程師需要學習如何構(gòu)建算法,然后將這些算法實現(xiàn)自動化以處理大量的實時數(shù)據(jù)。
可視化:可視化開發(fā)人員設(shè)計儀表板,講述組織收集的大數(shù)據(jù)的故事。
這個角色的IT專業(yè)人員需要訪問不同的數(shù)據(jù)源,并將其整合到統(tǒng)一的交互式平臺中。
Sule指出,雖然有一些課程可以幫助掌握這四項技能,但對于IT專業(yè)人員來說,最好采取邊做邊學的方法。
云計算也適合采用這種模式。
Sule說:“在人們準備充分的時候,可以輕松地注冊一個試用賬戶,直接感受到可用的服務(wù)。
許多正式課程的內(nèi)容也涉及實踐經(jīng)驗。
” Cloud Technology Partners首席架構(gòu)師Muhammad Nabeel表示,IT團隊也應(yīng)該為提供商提供的多種云服務(wù)結(jié)合起來做好準備,以支持大數(shù)據(jù)計劃。
他說:“企業(yè)需要詳細了解它們并一起實施。
” 根據(jù)Nabeel的說法,在三家行業(yè)領(lǐng)先的公共云提供商云平臺上運行的關(guān)鍵的大數(shù)據(jù)服務(wù)包括: 微軟Azure:在微軟Azure上使用Hadoop、Spark、R Server、HBase,以及Storm群集的HDInsight。
谷歌云平臺:用于分析數(shù)據(jù)倉庫的BigQuery,用于批量和流處理的云數(shù)據(jù)流,用于托管Hadoop和Spark的Cloud Dataproc,以及用于數(shù)據(jù)挖掘的Cloud Datalab。
AWS云平臺:使用Hadoop和Spark的Elastic MapReduce; Athena在簡單存儲服務(wù)中進行分析; Elasticsearch集群。
除了第三方培訓(xùn)選項外,云計算提供商還提供有用的學習功能以加速采用。
例如,在谷歌云計算控制平臺中,有一個“試用”功能的例子。
Nabeel認為,實踐經(jīng)驗有很長的路要走。
他說:“學習一門課程是有幫助的,但如果課程真正涉及到工作人員所需要的具體知識時,并不總是能夠解決問題。
” 網(wǎng)絡(luò)流量分析提供商Kentik公司聯(lián)合創(chuàng)始人兼首席執(zhí)行官Avi Freedman表示,雖然提供特定于供應(yīng)商的大型數(shù)據(jù)工具的知識非常重要,但組織也應(yīng)該努力在多個云平臺上使其團隊的技能多樣化。
過于依賴單一供應(yīng)商的企業(yè)有些短視,因為現(xiàn)在市場上沒有明顯的贏家。
Copyright © 2021 深圳市維創(chuàng)信息技術(shù)有限公司 版權(quán)所有