GDPR的數(shù)據(jù)治理要求，對AI驅(qū)動的分析的追求以及云計算的拉動為2018年數(shù)據(jù)管理和大數(shù)據(jù)團隊的努力奠定了基調(diào)。這些和相關(guān)的數(shù)據(jù)管理趨勢將進(jìn)一步影響到據(jù)行業(yè)分析師稱，2019年的數(shù)據(jù)專業(yè)人士。

例如，當(dāng)組織將大數(shù)據(jù)應(yīng)用程序投入生產(chǎn)使用時，組織越來越強調(diào)數(shù)據(jù)隱私保護(hù)。這是由于去年五月生效的新歐盟隱私法GDPR的出現(xiàn)所激發(fā)的。由于需要更強大的數(shù)據(jù)治理，早在6月，GDPR就獲得了加利福尼亞州類似意圖的州法律的批準(zhǔn)。加州消費者隱私法案的合規(guī)要求將于2020年初生效。

德克薩斯州普萊諾的麥克奈特咨詢集團總裁威廉麥克奈特表示，新法律將數(shù)據(jù)的有效治理作為數(shù)據(jù)管理人員和公司高管的首要任務(wù)。“人們將不得不更好地了解數(shù)據(jù)沿襲，數(shù)據(jù)質(zhì)量和數(shù)據(jù)訪問，”McKnight說。“那些以數(shù)據(jù)治理為特色的商店在這方面遙遙領(lǐng)先。”

一個更有序的數(shù)據(jù)湖

即使對于Hadoop數(shù)據(jù)湖來說，情況也在發(fā)生變化，Hadaop數(shù)據(jù)湖一度被視為可以將未分類的原始數(shù)據(jù)用于潛在分析用途的地方。

“數(shù)據(jù)治理的更新影響了數(shù)據(jù)湖，”McKnight說。“你不能把數(shù)據(jù)扔到那里，即使這是數(shù)據(jù)科學(xué)家想做的事情。”

他補充說，數(shù)據(jù)湖的數(shù)據(jù)治理已經(jīng)引起了人們對數(shù)據(jù)目錄和元數(shù)據(jù)標(biāo)記過程的高度關(guān)注。McKnight表示，數(shù)據(jù)專業(yè)人員的角色也正在改變，作為這些舉措和其他數(shù)據(jù)管理趨勢的一部分 - 這一變化反映在DataOps的興起中。

這是DevOps方法的一個分支，旨在簡化應(yīng)用程序開發(fā)。McKnight以DataOps的形式指出，數(shù)據(jù)管理團隊致力于維護(hù)對數(shù)據(jù)的一致處理，并確保在推動跨分布式數(shù)據(jù)架構(gòu)的全面生產(chǎn)使用時不會留下任何數(shù)據(jù)。

位于馬薩諸塞州Hingham的Eckerson Group的創(chuàng)始人兼首席顧問Wayne Eckerson也指出DataOps是一種新興的新學(xué)科，可能會在2019年變得更加普遍。

“許多用戶組織正試圖用更敏捷的流程圍繞DataOps進(jìn)行思考，”Eckerson說。“他們正在研究精益版本控制和測試 - 完成所有優(yōu)秀的軟件開發(fā)實踐并將其應(yīng)用于數(shù)據(jù)環(huán)境。”

數(shù)據(jù)管理團隊擴展

在他們追求面向DataOps的實踐時，數(shù)據(jù)管理團隊也在與業(yè)務(wù)部門密切合作 - 他們在傳統(tǒng)IT架構(gòu)中的地位也在不斷變化。

“我們看到中央IT的持續(xù)脫媒和數(shù)據(jù)團隊動態(tài)的相關(guān)變化，”McKnight說。“許多組織都承認(rèn)這是一種新的方式，它反映在IT商店的構(gòu)成上。”

加利福尼亞州蒙特維斯塔的Constellation Research公司分析師Doug Henschen表示，數(shù)據(jù)管理趨勢中值得注意的是，數(shù)據(jù)管理和分析團隊越來越需要協(xié)同開發(fā)利用AI技術(shù)的新型高級分析。

Henschen說，在統(tǒng)一的團隊中工作是將機器學(xué)習(xí)和深度學(xué)習(xí)模型大規(guī)模投入生產(chǎn)的關(guān)鍵。這是2018年的趨勢，他預(yù)計將持續(xù)到2019年。

“所需要的是基于團隊的方法，它們將數(shù)據(jù)科學(xué)家，數(shù)據(jù)分析師，數(shù)據(jù)工程師，開發(fā)人員和業(yè)務(wù)領(lǐng)導(dǎo)者結(jié)合在一起，以便通過持續(xù)監(jiān)控和優(yōu)化將模型大規(guī)模嵌入到業(yè)務(wù)應(yīng)用程序中，”Henschen說。

對于企業(yè)而言，競爭差異化將部分基于他們?nèi)绾螐V泛地利用數(shù)據(jù)和利用尖端的分析技術(shù) - 以及“他們是否能夠通過可靠的治理和合規(guī)來實現(xiàn)這一目標(biāo)，”Henschen繼續(xù)說道。“數(shù)據(jù)只有值得信賴才有價值。”?他也將數(shù)據(jù)目錄視為一種使數(shù)據(jù)更易于管理的方式。

將云視為數(shù)據(jù)平臺

云計算幾乎不是一個新趨勢，但它在2018年在數(shù)據(jù)管理方面達(dá)到了一種高潮。云數(shù)據(jù)庫和數(shù)據(jù)倉庫是AWS，IBM，Microsoft和Oracle的技術(shù)和收購舉措的核心。大數(shù)據(jù)系統(tǒng)遷移到云端的前景也潛伏在Hadoop供應(yīng)商Cloudera和Hortonworks?在10月份同意的合并背后。

紐約451 Research的分析師James Curtis表示，Cloudera和Hortonworks都面臨技術(shù)和業(yè)務(wù)挑戰(zhàn)，因為他們采用云計劃，允許用戶將Hadoop分布式文件系統(tǒng)（HDFS）換成云對象存儲技術(shù)。

事實上，在合并宣布時，兩家公司都沒有大肆宣傳Hadoop這個術(shù)語，這反映了HDFS和MapReduce處理引擎和編程框架（大數(shù)據(jù)平臺的原始核心組件）的作用減弱。

?“Hadoop中最初的基礎(chǔ)處理引擎和文件格式正在被取代。但是，雖然Hadoop將成為不在房間內(nèi)的大象，但Hadoop所做的并不會消失，”柯蒂斯說。

他補充說，Hadoop有效地做了什么，迎來了開源軟件組件的廣泛大數(shù)據(jù)生態(tài)系統(tǒng)，并允許用戶將不同的處理技術(shù)應(yīng)用于不同的數(shù)據(jù)工作負(fù)載 - 兩種數(shù)據(jù)管理趨勢預(yù)計會持續(xù)或不使用Hadoop本身。

基于云的數(shù)據(jù)倉庫是很久以前首次出現(xiàn)的技術(shù)。與大數(shù)據(jù)系統(tǒng)一樣，更多數(shù)據(jù)倉庫向云遷移現(xiàn)在看來也不可避免。

“云是數(shù)據(jù)倉庫的發(fā)展方向。唯一的缺點是內(nèi)部有大量數(shù)據(jù)，但也有工具，”Eckerson說，指的是可以幫助用戶將數(shù)據(jù)遷移到云端的軟件。

Eckerson表示，快速部署，永遠(yuǎn)在線操作以及更輕松地處理尖端性能的能力是進(jìn)入云計算的決定性因素。他補充說，越來越多的IT和數(shù)據(jù)管理團隊也很樂意將數(shù)據(jù)基礎(chǔ)架構(gòu)職責(zé)移交給云提供商。

變化：處理它

今年年底和新的開始是用于衡量技術(shù)和數(shù)據(jù)管理趨勢的進(jìn)展或退卻的任意分隔符。但麥克奈特說，至關(guān)重要的是，各組織應(yīng)對新的和新興趨勢帶來的變化。他預(yù)測，在2019年，他們肯定會有更多的東西需要處理。