在數(shù)據(jù)豐富的環(huán)境中生活和工作的缺點(diǎn)之一是希望將所有最后的位和字節(jié)松開以備將來使用。得益于Amazon S3和Hadoop等廉價存儲系統(tǒng)，技術(shù)上可以存儲您收集的每一條數(shù)據(jù)。但是走太遠(yuǎn)的路可能會導(dǎo)致危險的情況，即數(shù)據(jù)囤積。

雖然數(shù)據(jù)囤積可能不像物理囤積現(xiàn)實世界的物品一樣具有威脅，但是有類似的心理學(xué)在起作用。在過去的25年中，存儲每一期“紐約時報”的物理囤積者可能會因為錯誤的想法而這樣做，他們將來需要在某個時候參考該論文。同樣地，數(shù)字囤積者可能會抓住谷歌的每一個關(guān)鍵詞報告，因為它錯誤地認(rèn)為它會促進(jìn)營銷工作。

數(shù)據(jù)囤積的事件正在上升，這應(yīng)該不足為奇。畢竟，由于大數(shù)據(jù)熱潮，我們擁有豐富且價格合理的存儲，其中大部分存儲在云端。根據(jù)EMC數(shù)據(jù)傳播者Bill Schmarzo的說法，對于相同數(shù)量的資金，您可以在基于Hadoop的數(shù)據(jù)湖中存儲50倍于傳統(tǒng)數(shù)據(jù)倉庫的數(shù)據(jù)。這是一個很大的優(yōu)勢。

一些大數(shù)據(jù)解決方案提供商告訴客戶不要丟棄數(shù)據(jù)，這加劇了數(shù)據(jù)囤積問題。當(dāng)你將這種心態(tài)與可以從數(shù)據(jù)耗盡中輕松挖掘競爭優(yōu)勢的心態(tài)以及囤積本身產(chǎn)生的動力結(jié)合起來時，你可以看到數(shù)據(jù)囤積有可能成為一個嚴(yán)重的問題。

從一個極端到另一個極端

在過去的20年中，我們在數(shù)據(jù)存儲領(lǐng)域的兩個極端之間反彈。在過去（即1995年），當(dāng)存儲成本高得多時，公司只會存儲對其運(yùn)營至關(guān)重要的數(shù)據(jù)。通常，數(shù)據(jù)源自操作數(shù)據(jù)存儲，并且數(shù)據(jù)將被大量轉(zhuǎn)換以嚴(yán)格符合預(yù)設(shè)模式。然后可以提取洞察并從這些嚴(yán)格控制的數(shù)據(jù)倉庫運(yùn)行報告。

但是，對于數(shù)據(jù)倉庫而言，大數(shù)據(jù)湖泊已經(jīng)顛覆了腳本。公司現(xiàn)在不存儲具有經(jīng)過驗證的商業(yè)價值的數(shù)據(jù)，而是存儲任何有可能在未來提供價值的數(shù)據(jù)。其中大部分是原始數(shù)據(jù)，或“數(shù)據(jù)耗盡”，之前被丟棄，因為它沒有提供直接的商業(yè)價值。

我們已經(jīng)從一個極端走向另一個極端，一家名為Xplenty的數(shù)據(jù)集成初創(chuàng)公司的首席執(zhí)行官兼聯(lián)合創(chuàng)始人Yaniv Mor說，他看到這種類型的數(shù)據(jù)囤積多年來變得更糟。

“現(xiàn)在公司傾向于簡單地存儲數(shù)據(jù)只是為了安全起見，以防萬一有人想在未來使用這些數(shù)據(jù)，”Mor說。“相對來說，存儲現(xiàn)在很便宜，所以他們只會將所有內(nèi)容都放在Amazon?S3或Google Cloud存儲上。但是當(dāng)分析師來并需要從中提取一些信息時，它就成了一個巨大的挑戰(zhàn)。這是我們一直看到的東西。“

Mor表示，Apache Hadoop和云存儲是數(shù)據(jù)囤積的推動因素。雖然這些平臺在存儲成本方面具有優(yōu)勢，但它們也暴露了缺乏從數(shù)據(jù)中提取有用信息的專業(yè)技能。

“這是一個很大的挑戰(zhàn)，”莫爾說。“梳理這些數(shù)據(jù)并獲得洞察力并不容易。你必須有數(shù)據(jù)科學(xué)家和非常專業(yè)的分析師，他們擁有篩選這些數(shù)據(jù)的技能。“

數(shù)據(jù)ROT的增長

大公司和其他組織，如政府機(jī)構(gòu)，都是屈從于數(shù)據(jù)囤積的人。據(jù)喬迪霍克，美國國防部和美國情報工商業(yè)的執(zhí)行董事船級社，聯(lián)邦機(jī)構(gòu)發(fā)現(xiàn)很容易只是添加，而不是面臨著數(shù)據(jù)囤積迎面而來的困難更多的存儲空間。

“有很多神話，”侯克在4月接受聯(lián)邦新聞電臺采訪時說道。“他們認(rèn)為存儲是便宜的，所有數(shù)據(jù)都有價值，所有數(shù)據(jù)都具有相同的價值，并且他們會將這些數(shù)據(jù)轉(zhuǎn)移到云端。所以這是免費(fèi)存儲空間，為什么我不能保留它呢？“

事實上，并非所有數(shù)據(jù)都是信息，Houck說。事實上，根據(jù)Veritas的2016年數(shù)據(jù)基因組學(xué)指數(shù)，目前普通組織存儲的數(shù)據(jù)中有40％到60％是冗余的，過時的或微不足道的（ROT）。

更重要的是，Veritas發(fā)現(xiàn)超過40％的組織數(shù)據(jù)是陳舊的（即三年內(nèi)沒有被觸及）。組織正在花費(fèi)巨額資金來存儲數(shù)百萬個沒有人正在使用的個人文件。“他們每桶花費(fèi)500萬美元來存儲ROT，”Houck說。

關(guān)注營銷

雖然數(shù)據(jù)囤積是一個平等的機(jī)會犯罪者，但Xplenty的Mor所說的業(yè)務(wù)中有一部分可能特別容易發(fā)出警報：營銷。

“營銷人員只是晚上收集，但他們不一定知道如何處理它，”莫爾說。“營銷人員需要了解并非所有數(shù)據(jù)都是平等的。他們不一定必須收集營銷服務(wù)提供給他們的每個位和字節(jié)。營銷人員是創(chuàng)建數(shù)據(jù)沼澤的一個很好的例子。“

跟蹤事物（即“治理”）也成為囤積者的一個大問題。就像那些囤積物理物品的人可能無法在裝滿天花板的房子里找到特定物品一樣，數(shù)據(jù)囤積者也會發(fā)現(xiàn)自己在數(shù)據(jù)的重壓下掙扎。當(dāng)嚴(yán)格的模式控制崩潰并且“隨時隨地”的心態(tài)接管數(shù)據(jù)湖時，它很快就會變成一個模糊的數(shù)據(jù)沼澤。

數(shù)據(jù)囤積沒有明確的定義，并且該綜合癥可能在不同的機(jī)構(gòu)中存在不同程度。它還應(yīng)該從法律規(guī)定的檔案中消除歧義。例如，銀行可能在法律上要求保留數(shù)據(jù)多年，而一些醫(yī)療保健組織必須保持?jǐn)?shù)十年的醫(yī)療數(shù)據(jù)。

內(nèi)部數(shù)據(jù)是20年前大多數(shù)數(shù)據(jù)倉庫計劃的來源，但今天的大數(shù)據(jù)囤積者傾向于使用隨時可用的外部數(shù)據(jù)。特別是社交媒體數(shù)據(jù)通常存儲在數(shù)據(jù)湖中，并且可以將其與其他數(shù)據(jù)混合以產(chǎn)生有意義的信號。但社交媒體數(shù)據(jù)通常非常“嘈雜”，并且包含可疑的商業(yè)價值。

數(shù)據(jù)囤積解決方案

解決數(shù)據(jù)囤積問題的第一步是承認(rèn)存在問題。在那之后，可以采取幾種策略。

Veritas的Houck提倡自上而下的數(shù)據(jù)治理解決方案，首先要獲得對數(shù)據(jù)及其價值的可見性。在創(chuàng)建更好的模型來對數(shù)據(jù)進(jìn)行分類之后，由數(shù)據(jù)專業(yè)人員或首席數(shù)據(jù)官來決定是否擁有所有權(quán)并實施更好的數(shù)據(jù)治理策略。

“如果我們今天實施信息治理策略并開始使用ROT和陳舊數(shù)據(jù)，我們相信有更好的方法可以支持我們的任務(wù)并降低成本，然后繼續(xù)提出創(chuàng)建分配項目的解決方案，以便我們能夠她在接受聯(lián)邦新聞電臺采訪時表示，移動那些對我們的系統(tǒng)毫無價值的數(shù)據(jù)。“這是一種文化變革。這是一項技術(shù)變革。我們無法通過手動查看每個數(shù)據(jù)來實現(xiàn)，但有能力自動爬行，記錄您擁有的數(shù)據(jù)，然后采取行動。“

Xplenty的Mor認(rèn)為，迫切需要教育人們關(guān)于數(shù)據(jù)囤積問題。“你必須教育人們他們需要對他們可用的數(shù)據(jù)做些什么，特別是在評估數(shù)據(jù)架構(gòu)方面，特別是在云上，”他說。“人們不知道如何在云上構(gòu)建數(shù)據(jù)架構(gòu)。”

最終，數(shù)據(jù)囤積問題必須從下至上解決，這意味著讓個人改變他們查看數(shù)據(jù)的方式。“這不是關(guān)于你在一天結(jié)束時收集了多少數(shù)據(jù) - 這是你將從數(shù)據(jù)中獲得什么價值的問題，”他說。“每個分析師，每個數(shù)據(jù)專業(yè)人士，每天都應(yīng)該問問自己這個問題。”