肯尼思·庫克耶2010年發(fā)表了一篇關(guān)于大數(shù)據(jù)的專題報告,標志著其較早洞悉了大數(shù)據(jù)時代的發(fā)展趨勢。
美國麥肯錫全球研究院(MGI),最先提出了 “大數(shù)據(jù)”時代的到來。2011 年 5 月,MGI 發(fā)表了名為“Big data: The next frontier for innovation, competition and productivity”(大數(shù)據(jù):未來創(chuàng)新、競爭、生產(chǎn)力 的指向標)的研究報告,提到數(shù)據(jù)已經(jīng)滲透進入到各個行業(yè)領(lǐng)域之中,成了一項 重要的生產(chǎn)因素指標。
《紐約時報》在其2012年2月的一篇專欄文章里稱,“大數(shù)據(jù)”時代已經(jīng)降臨到了經(jīng)濟和商業(yè)等領(lǐng)域之中,人們的未來性決策不能再僅僅憑借原有的經(jīng)驗、直覺,而是要更多地根據(jù)數(shù)據(jù)分析,才能作出進一步判斷
越來越多的人認識到大數(shù)據(jù)在我們生活中的重要意義和作用,大數(shù)據(jù)的出現(xiàn)也改變了人們的生活方式,生活習慣等等。那么我們身處大數(shù)據(jù)時代,大數(shù)據(jù)對人的生活的影響究竟在哪些方面呢?億信華辰今天想和大家聊聊這些。
一、大數(shù)據(jù)時代的概念
要理解什么是大數(shù)據(jù)時代,首先要理解什么是大數(shù)據(jù)。
對于“大數(shù)據(jù)”(Big data)研究機構(gòu)Gartner給出了這樣的定義。“大數(shù)據(jù)”是需要新處理模式才能具有更強的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力來適應海量、高增長率和多樣化的信息資產(chǎn)。麥肯錫全球研究所給出的定義是:“一種規(guī)模大到在獲取、存儲、管理、分析方面大大超出了傳統(tǒng)
數(shù)據(jù)庫軟件工具能力范圍的數(shù)據(jù)集合,具有海量的數(shù)據(jù)規(guī)模、快速的數(shù)據(jù)流轉(zhuǎn)、多樣的數(shù)據(jù)類型和價值密度低四大特征。”
大數(shù)據(jù)技術(shù)的戰(zhàn)略意義不在于掌握龐大的數(shù)據(jù)信息,而在于對這些含有意義的數(shù)據(jù)進行專業(yè)化處理。換而言之,如果把大數(shù)據(jù)比作一種產(chǎn)業(yè),那么這種產(chǎn)業(yè)實現(xiàn)盈利的關(guān)鍵,在于提高對數(shù)據(jù)的“加工能力”,通過“加工”實現(xiàn)數(shù)據(jù)的“增值”。
基于大數(shù)據(jù)的概念,我們也可以得出大數(shù)據(jù)時代的概念。大數(shù)據(jù)時代是指利用相關(guān)算法對海量數(shù)據(jù)的處理與分析、存儲,從海量的數(shù)據(jù)中發(fā)現(xiàn)價值,服務(wù)于生活與生產(chǎn)。在餐飲、電信、金融、娛樂、體育等領(lǐng)域都能夠感受到大數(shù)據(jù)對各行各業(yè)帶來的影響。大數(shù)據(jù)時代的特點一般指的是:
1、信息量龐大
所謂的大數(shù)據(jù)時代,從字面意義上就不難理解,數(shù)據(jù)非常大,信息量比較龐大,這也是互聯(lián)網(wǎng)迅速發(fā)展所帶來的改變。僅從通訊上面我們就能夠看出來,以前的2G、3G就能夠滿足人們使用,到后來的4G,網(wǎng)絡(luò)的發(fā)展,人們能夠通過互聯(lián)網(wǎng)獲取的信息越來越多,現(xiàn)在又開始推出5G,大數(shù)據(jù)的時代,畢竟容納和接受更多的信息。
2、多樣化
大數(shù)據(jù)時代的我們會有這樣一個感受,就是自己不知道的東西都能夠通過網(wǎng)絡(luò)搜索來獲取,在網(wǎng)上我們能夠看到各種各樣的信息,這便是大數(shù)據(jù)時代的多樣性帶給我們的不一樣的感受。我們工作的時候,有工作的軟件,下班放松娛樂,也有相關(guān)的軟件和信息。
3、高速高流動性
以前網(wǎng)絡(luò)發(fā)展慢,相互之間進行數(shù)據(jù)傳輸和信息傳送可能需要很長的一段時間,人們之間的溝通和交流并沒有多么明顯的改善,而大數(shù)據(jù)時代的慢慢到來,我們便不難發(fā)現(xiàn),以前需要很長時間才能夠傳輸完成的文件,現(xiàn)在幾秒鐘就能完成,但這也對信息的精密度和服務(wù)器的運行平穩(wěn)提出的了很大的挑戰(zhàn)。
4、共享性
在網(wǎng)絡(luò)不發(fā)達的時間,我們獲得新知識或者新經(jīng)驗的方式,只能夠是自己摸索或者請教有經(jīng)驗的人,而現(xiàn)在,我們在網(wǎng)上能夠隨時找到很多自己想要的領(lǐng)域的知識分享。不僅如此,在某些領(lǐng)域,也能夠通過網(wǎng)絡(luò)進行交流和商討,而不是非要面對面進行。
二、大數(shù)據(jù)時代常用的大數(shù)據(jù)技術(shù)
大數(shù)據(jù)技術(shù)可以定義為一種軟件實用程序,旨在分析,處理和提取來自極其復雜的大型數(shù)據(jù)集的信息,而傳統(tǒng)數(shù)據(jù)處理軟件永遠無法處理這些信息。目前我們生活的很多方面都需要大數(shù)據(jù)處理技術(shù)來分析大量實時數(shù)據(jù),并提出結(jié)論和預測以減少未來的風險。一般來說,大數(shù)據(jù)時代常用的大數(shù)據(jù)技術(shù)包括以下四種:
1、
數(shù)據(jù)存儲
大數(shù)據(jù)存儲技術(shù)是大數(shù)據(jù)領(lǐng)域的另一個關(guān)鍵數(shù)據(jù),人們利用分布式存儲代替集中式存儲,用更廉價的機器代替之前昂貴的機器,讓海量存儲的成本大大降低。分布式存儲系統(tǒng)需要借助分布式數(shù)據(jù)庫來實現(xiàn),分布式數(shù)據(jù)庫重點解決大文件存儲、存儲設(shè)備的動態(tài)擴展、數(shù)據(jù)存儲節(jié)點的容錯以及數(shù)據(jù)的快速檢索問題。為了既能夠保證對海量數(shù)據(jù)的存儲,又能夠保證事務(wù)的一致性,通常對增加、刪除、修改、查詢操作進行區(qū)分處理。
2、數(shù)據(jù)挖掘
數(shù)據(jù)挖掘是指從大量的數(shù)據(jù)中通過算法搜索隱藏于其中信息的過程。數(shù)據(jù)挖掘通常與計算機科學有關(guān),并通過統(tǒng)計、在線分析處理、情報檢索、機器學習、專家系統(tǒng)(依靠過去的經(jīng)驗法則)和模式識別等諸多方法來實現(xiàn)上述目標。
數(shù)據(jù)挖掘是通過分析每個數(shù)據(jù),從大量數(shù)據(jù)中尋找其規(guī)律的技術(shù),主要有數(shù)據(jù)準備、規(guī)律尋找和規(guī)律表示三個步驟。數(shù)據(jù)準備是從相關(guān)的數(shù)據(jù)源中選取所需的數(shù)據(jù)并整合成用于數(shù)據(jù)挖掘的數(shù)據(jù)集;規(guī)律尋找是用某種方法將數(shù)據(jù)集所含的規(guī)律找出來;規(guī)律表示是盡可能以用戶可理解的方式(如可視化)將找出的規(guī)律表示出來。數(shù)據(jù)挖掘的任務(wù)有關(guān)聯(lián)分析、聚類分析、分類分析、異常分析、特異群組分析和演變分析等。
3、數(shù)據(jù)分析
大數(shù)據(jù)分析是指對規(guī)模巨大的數(shù)據(jù)進行分析。大數(shù)據(jù)可以概括為5個V, 數(shù)據(jù)量大(Volume)、速度快(Velocity)、類型多(Variety)、價值(Value)、真實性(Veracity)。大數(shù)據(jù)分析是一個大而復雜的數(shù)據(jù)集的集合,很難使用可用的數(shù)據(jù)庫管理工具或傳統(tǒng)的數(shù)據(jù)處理應用程序進行存儲和處理。挑戰(zhàn)包括捕獲,管理,存儲,搜索,共享,傳輸,分析和可視化此數(shù)據(jù)。
4、
數(shù)據(jù)可視化
數(shù)據(jù)可視化,是關(guān)于數(shù)據(jù)視覺表現(xiàn)形式的科學技術(shù)研究。其中,這種數(shù)據(jù)的視覺表現(xiàn)形式被定義為,一種以某種概要形式抽提出來的信息,包括相應信息單位的各種屬性和變量。這種定義可能顯得比較晦澀難懂。在大
數(shù)據(jù)分析工具和軟件中提到的數(shù)據(jù)可視化,就是利用運用計算機圖形學、圖像、人機交互等技術(shù),將采集或模擬的數(shù)據(jù)映射為可識別的圖形、圖像。
三、大數(shù)據(jù)時代對生活的影響
1、大數(shù)據(jù)技術(shù)在生活中的應用
制造業(yè):利用工業(yè)大數(shù)據(jù)提升制造業(yè)水平,包括產(chǎn)品故障診斷與預測、分析工藝流程、改進生產(chǎn)工藝,優(yōu)化生產(chǎn)過程能耗、工業(yè)供應鏈分析與優(yōu)化、生產(chǎn)計劃與排程。
金融行業(yè):大數(shù)據(jù)在高頻交易、社交情緒分析和信貸風險分析三大金融創(chuàng)新領(lǐng)域發(fā)揮重大作用。
汽車行業(yè):利用大數(shù)據(jù)和物聯(lián)網(wǎng)技術(shù)的無人駕駛汽車,在不遠的未來將走入我們的日常生活。
互聯(lián)網(wǎng)行業(yè):借助于大數(shù)據(jù)技術(shù),可以分析客戶行為,進行商品推薦和針對性廣告投放。
電信行業(yè):利用大數(shù)據(jù)技術(shù)實現(xiàn)客戶離網(wǎng)分析,及時掌握客戶離網(wǎng)傾向,出臺客戶挽留措施。
能源行業(yè):隨著智能電網(wǎng)的發(fā)展,電力公司可以掌握海量的用戶用電信息,利用大數(shù)據(jù)技術(shù)分析用戶用電模式,可以改進電網(wǎng)運行,合理設(shè)計電力需求響應系統(tǒng),確保電網(wǎng)運行安全。
物流行業(yè):利用大數(shù)據(jù)優(yōu)化物流網(wǎng)絡(luò),提高物流效率,降低物流成本。
城市管理:可以利用大數(shù)據(jù)實現(xiàn)智能交通、環(huán)保監(jiān)測、城市規(guī)劃和智能安防。
生物醫(yī)學:大數(shù)據(jù)可以幫助我們實現(xiàn)流行病預測、智慧醫(yī)療、健康管理,同時還可以幫助我們解讀DNA,了解更多的生命奧秘。
體育娛樂:大數(shù)據(jù)可以幫助我們訓練球隊,決定投拍哪種題財?shù)挠耙曌髌罚约邦A測比賽結(jié)果。
安全領(lǐng)域:政府可以利用大數(shù)據(jù)技術(shù)構(gòu)建起強大的國家安全保障體系,企業(yè)可以利用大數(shù)據(jù)抵御網(wǎng)絡(luò)攻擊,警察可以借助大數(shù)據(jù)來預防犯罪。
個人生活:大數(shù)據(jù)還可以應用于個人生活,利用與每個人相關(guān)聯(lián)的“個人大數(shù)據(jù)”,分析個人生活行為習慣,為其提供更加周到的個性化服務(wù)。
2、大數(shù)據(jù)時代對生活的影響
(1)、正面影響
改變了信息獲取的方式?
信息傳遞的發(fā)展歷程較為漫長,遠古時代傳遞信息時,多借助某種特殊方式或面對面進行傳遞;隨后文字的出現(xiàn),使得信息傳遞的方式發(fā)生了變化;然后電報與電話的發(fā)展,有效實現(xiàn)了非面對面的信息傳遞。隨著信息技術(shù)和網(wǎng)絡(luò)技術(shù)的發(fā)展,迎來了 web2.0時代, 信息傳遞方式變?yōu)榫W(wǎng)絡(luò)傳播的方式,人們開始接觸海量的信息,選擇自身所需的信息進行傳播。
優(yōu)化了科研方式
傳統(tǒng)的科研方式多屬于線式和點式的方式,而隨著大數(shù)據(jù)技術(shù)的發(fā)展,將其應用在科研活動中,能夠?qū)?shù)據(jù)進行密集 網(wǎng)絡(luò)形式的傳輸,確保科研連接的迅速性,促進科研整體進度 的提高。此外,大數(shù)據(jù)技術(shù)能夠傳遞和處理非結(jié)構(gòu)化信息,充分挖掘科研的廣度和深度,有效增強科研合作的能力,促進科技水平的進步。?
加強了社會安全管理?
在社會安全管理領(lǐng)域中, 可以利用大數(shù)據(jù)技術(shù)挖掘手機數(shù)據(jù),對交通擁堵和客源信息情況、流動人口出現(xiàn)和來源等進行實時動態(tài)分析。同時可以借助搜索引擎、微信、微博以及短 信等對輿情和熱點事件進行挖掘和收集,并有效追蹤虛假信息的源頭,確保社會更為安定有序,加強社會的安全管理。 如美國麻省理工學院利用大數(shù)據(jù)技術(shù),對十萬人手機的空間位置、短信和通話等信息加以處理,并對人們行為的時空規(guī)律性加以提取,從而進行犯罪預測。
強化了醫(yī)療衛(wèi)生體系的精密度?
在分析大
數(shù)據(jù)應用于醫(yī)療衛(wèi)生行業(yè)時,通過對大量用戶 的搜索記錄進行分析,如“發(fā)燒”、“咳嗽”等特定詞條的搜索,谷歌公司能夠?qū)γ绹玖鞲械膫鞑ペ厔葸M行準確預測,并且預測結(jié)果與官方數(shù)據(jù)基本一致。就個人而言,在傳統(tǒng)的醫(yī)療服務(wù)過程中,醫(yī)生只能判斷個人患者身體狀況,而利用大數(shù)據(jù)則能夠提供個性化的醫(yī)療服務(wù),分析患者累積歷史數(shù)據(jù),并從特殊藥物反應、 特定疾病易感性以及遺傳變異等質(zhì)之間的關(guān) 系出發(fā),為患者提供個性化的服務(wù)。此外,大數(shù)據(jù)能夠在疾病 癥狀發(fā)生之前,可以為患者提供早期的診斷和檢測,從而減輕衛(wèi)生系統(tǒng)的負擔。
(2)、負面影響
泄露個人信息?
大數(shù)據(jù)時代屬于信息時代,信息和網(wǎng)絡(luò)傳輸方式和渠道 會在一定程度上涉及到大量的信息。隨著 3G 手機的普及以及互聯(lián)網(wǎng)的發(fā)展,人們隨時隨地都在產(chǎn)生數(shù)據(jù),而這些數(shù)據(jù)不再具備神秘性和私有性,導致個人信息泄露。目前,人們越來越 忽視集體主義的重要性,導致個人信息和個人隱私受到較大威脅。 一旦個人信息被非法利用,將會造成無法估量的損失,因此重視個人隱私, 強化自身信息安全能力的保護具有十分重要的意義。?
對數(shù)據(jù)處理設(shè)備的要求更高
大數(shù)據(jù)主要是有半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)以及結(jié)構(gòu) 化數(shù)據(jù)構(gòu)成,并且前兩者的比例將朝著增大的趨勢發(fā)展。 同時由于數(shù)據(jù)量大,對數(shù)據(jù)處理、篩選、存儲以及收集等設(shè)備提出 了更高的要求, 這在一定程度上不利于大數(shù)據(jù)創(chuàng)造價值的有效實現(xiàn)。
四、小結(jié)
科學技術(shù)的發(fā)展與進步有效改變?nèi)藗兊纳罘绞剑?為人們的生產(chǎn)生活提供了極大的便利,但是其也存在一定的不足。因此在利用大數(shù)據(jù)技術(shù)對日常生活事物進行處理時,要有效規(guī)避其帶來的負面影響,科學合理應用技術(shù),從而促進社會的可持續(xù)發(fā)展。
(部分內(nèi)容來源網(wǎng)絡(luò),如有侵權(quán)請聯(lián)系刪除)