DT時(shí)代，數(shù)據(jù)驅(qū)動(dòng)成為大趨勢。大數(shù)據(jù)必將成為未來社會(huì)的新能源，從企業(yè)的微觀層看，大數(shù)據(jù)的分析和運(yùn)用能力已成為企業(yè)的核心競爭力。

然而現(xiàn)在的企業(yè)中經(jīng)常會(huì)遇到一些困擾：一種情形是企業(yè)內(nèi)部存在有價(jià)值的數(shù)據(jù)但是企業(yè)自身對(duì)這些價(jià)值未感知，另一種情形是企業(yè)知曉數(shù)據(jù)的價(jià)值但是并不知道如何有效的利用這些數(shù)據(jù)助力企業(yè)決策。

第一種情形像極了自然界中的一種物質(zhì)叫做“暗物質(zhì)”，從物理學(xué)的角度來看，“暗物質(zhì)”是自然界當(dāng)中最充滿能量的部分，如何發(fā)揮“暗物質(zhì)”的作用是當(dāng)代自然科學(xué)研究的話題。而在商業(yè)智能BI領(lǐng)域，人們都在討論如何發(fā)掘隱藏在企業(yè)內(nèi)部和整個(gè)互聯(lián)網(wǎng)上巨量的“暗數(shù)據(jù)”，

怎樣發(fā)揮“暗數(shù)據(jù)”的價(jià)值。

“暗數(shù)據(jù)”是指企業(yè)在開展正常業(yè)務(wù)活動(dòng)期間采集、處理和存儲(chǔ)在各種系統(tǒng)和數(shù)據(jù)存儲(chǔ)中，但通常無法用于其他目的(如分析、商業(yè)關(guān)系和直接獲利)的信息。具體來說，它指那些需要資金來存儲(chǔ)、保護(hù)和管理，但又沒有得到高效的利用，不能提升商業(yè)價(jià)值，甚至可能會(huì)給企業(yè)帶來風(fēng)險(xiǎn)的內(nèi)容。

暗數(shù)據(jù)是伴隨大數(shù)據(jù)一起產(chǎn)生的新名詞。我們可以將“暗數(shù)據(jù)”視為大數(shù)據(jù)的子集，它可以包括存儲(chǔ)在CRM數(shù)據(jù)倉庫的結(jié)構(gòu)化數(shù)據(jù)、日志文件甚至來自于社交媒體的非結(jié)構(gòu)化數(shù)據(jù)等所有數(shù)據(jù)。

對(duì)于有些已經(jīng)實(shí)施數(shù)據(jù)倉庫或者大數(shù)據(jù)平臺(tái)，清楚數(shù)據(jù)的存在并正在發(fā)掘數(shù)據(jù)的價(jià)值的企業(yè)，暗數(shù)據(jù)的問題依然存在。因?yàn)閷?shí)施數(shù)據(jù)倉庫常常是站在IT的角度，對(duì)于IT來講或許已經(jīng)是可以利用的明數(shù)據(jù)，而對(duì)于其它部門尤其是業(yè)務(wù)部門，如果沒有充分有效的利用手段和方式，仍然是“暗數(shù)據(jù)”。

如果無法有效利用這些數(shù)據(jù)，企業(yè)最終就無法對(duì)自身的整體行為形成一致觀點(diǎn)。這意味著企業(yè)將無法分析流程、合理配置資源，也無法在系統(tǒng)中找到代表自身專有優(yōu)勢的數(shù)據(jù)。

為何會(huì)有這么多“暗數(shù)據(jù)”存在?

我們從以下四點(diǎn)來解讀：

1、企業(yè)甚至沒有意識(shí)到數(shù)據(jù)的存在企業(yè)不止有IT部門，還有更多的業(yè)務(wù)人員、管理決策人員，當(dāng)他們嘗試解答疑難問題或改進(jìn)工作方式時(shí)，時(shí)常會(huì)回避去尋找并分析自己不熟悉的數(shù)據(jù)集。并且由于缺乏技能、時(shí)間或能力，他們往往很難將正確的數(shù)據(jù)公諸于世，這在日常工作中是非常典型的一種場景。舉個(gè)例子，有些企業(yè)表示不清楚到底有多少客戶，這是真的嗎?回答當(dāng)然是否定的，因?yàn)楝F(xiàn)在的企業(yè)IT已非常完善，每一筆客戶的交易信息都會(huì)存在系統(tǒng)當(dāng)中，或許有些數(shù)據(jù)質(zhì)量不是很好，但它們都是存在的，只是企業(yè)自己沒有意識(shí)到。如果這些數(shù)據(jù)以整個(gè)組織都能訪問的方式存儲(chǔ)，就能為更多業(yè)務(wù)部門、項(xiàng)目團(tuán)隊(duì)提供支持，進(jìn)而制定更明智的決策，并對(duì)更多假設(shè)進(jìn)行測試。

2、企業(yè)意識(shí)到數(shù)據(jù)的存在，但不知道具體位置，利用的手段和方法也不足有些企業(yè)已經(jīng)建設(shè)了很多數(shù)據(jù)管理系統(tǒng)，知道數(shù)據(jù)是存在的，但內(nèi)部的數(shù)據(jù)體系結(jié)構(gòu)和復(fù)雜的數(shù)據(jù)流程讓數(shù)據(jù)很難被訪問到。如果各個(gè)部門都在數(shù)據(jù)孤島中工作，并且將數(shù)據(jù)遺留在數(shù)據(jù)存儲(chǔ)中，那么即使是求知欲最強(qiáng)的團(tuán)隊(duì)也會(huì)徒然碰壁。如果沒有制定企業(yè)范圍的戰(zhàn)略來存儲(chǔ)和管理這些數(shù)據(jù)，企業(yè)的決策質(zhì)量仍將受制于內(nèi)部組織架構(gòu)和過時(shí)的技術(shù)。

3、實(shí)際利用數(shù)據(jù)過于昂貴阻礙了數(shù)據(jù)使用的效果即使企業(yè)已經(jīng)發(fā)現(xiàn)了所需的“暗數(shù)據(jù)”，通常也必須面對(duì)與在遺留系統(tǒng)上處理這些數(shù)據(jù)相關(guān)的一連串成本問題，比如數(shù)據(jù)利用的環(huán)節(jié)過長。即便他們通過使用Hadoop這類的新軟件架構(gòu)，在價(jià)格較低廉的硬件上復(fù)制這些數(shù)據(jù)來努力降低成本，但遷移流程和獲取新技能的初始成本對(duì)于單個(gè)項(xiàng)目而言通常仍顯得過高。這也造成了很多數(shù)據(jù)其實(shí)仍然以未被充分使用的狀態(tài)隱藏在我們的IT系統(tǒng)和日常流程當(dāng)中。所以為了充分利用企業(yè)已擁有的數(shù)據(jù)，需要更現(xiàn)代化的數(shù)據(jù)體系結(jié)構(gòu)，否則企業(yè)仍會(huì)繼續(xù)為數(shù)據(jù)支付巨額費(fèi)用，卻無法承擔(dān)對(duì)其進(jìn)行分析產(chǎn)生的成本。