演講PPT包括六大部分，包括引言、數(shù)據(jù)領(lǐng)域基本概念、數(shù)據(jù)的目標(biāo)是什么、數(shù)據(jù)崗位如何理解、數(shù)據(jù)技術(shù)全景視圖及進(jìn)入職場前的準(zhǔn)備，主要面向想進(jìn)入大數(shù)據(jù)行業(yè)的大學(xué)生，也適合于對數(shù)據(jù)感興趣的人士，PPT寫得簡單，權(quán)當(dāng)拋磚引玉。

正文開始

有好友邀請我去做浙江大學(xué)數(shù)據(jù)“悅”讀大賽的評委，順便讓我做一次大數(shù)據(jù)的主題演講，我問分享啥呢，好友說那就講講數(shù)據(jù)職場相關(guān)的吧，然后就有了這次分享。

一、引言

這頁PPT我主要想表達(dá)的是：工作思維和學(xué)生思維的區(qū)別。

網(wǎng)傳有個例子也很形象。老板要在墻上掛副畫，讓你去買個電鉆，你跑到樓下，發(fā)現(xiàn)店關(guān)門了，你跟老板說，店關(guān)門了，我沒有買到，這是答案，不是結(jié)果。你找到物業(yè)讓他打個洞，這是老板要的結(jié)果。

二、數(shù)據(jù)領(lǐng)域基本概念

1、數(shù)據(jù)

大數(shù)據(jù)這個詞容易望文生義，其實在大數(shù)據(jù)的4V特征中，多樣性才是最重要的特性，芝麻信用的價值就在于維度夠多，比如身份特質(zhì)中的就業(yè)類信息，如果知道你在哪個單位工作，這個單位顯然可以為你的信用背書。

高速度也是很關(guān)鍵的特征，我們以前大量的分析都是截面分析，拋棄了時間要素，事實上，數(shù)據(jù)的時間維度代表了一種價值，比如高速路打高爾夫球是一種違規(guī)行為，實時預(yù)警和隔天預(yù)警產(chǎn)生的價值則完全不同。

2、計算

大數(shù)據(jù)相對于小數(shù)據(jù)有4V的特征，為了從大數(shù)據(jù)中挖掘出價值，需要針對大數(shù)據(jù)的4V特點給出適配的技術(shù)解決方案：

從大容量的角度看，需要從傳統(tǒng)的小型機(jī)（Scale up）架構(gòu)升級為分布式架構(gòu)（Scale out）。

從多樣性的角度看，需要突破傳統(tǒng)關(guān)系型數(shù)據(jù)庫的限制（比如ACID），采取NoSQL數(shù)據(jù)庫來高效處理非結(jié)構(gòu)化等數(shù)據(jù)。

從高速度的角度看，需要從原來的批處理架構(gòu)升級到流處理架構(gòu)，支撐實時查詢、實時統(tǒng)計等應(yīng)用場景。

從高價值的角度看，需要采取更低成本的軟件解決方案，比如從傳統(tǒng)的商用軟件逐步過渡到開源軟件。

3、組織

采集進(jìn)來的原始數(shù)據(jù)是雜亂無章的，只有通過構(gòu)建數(shù)據(jù)模型，將數(shù)據(jù)有序的組織和存儲起來之后，這些數(shù)據(jù)才能得到高性能、低成本、高效率、高質(zhì)量的使用，數(shù)據(jù)倉庫建模的價值體現(xiàn)在四個方面：

質(zhì)量：打造標(biāo)準(zhǔn)層，實現(xiàn)業(yè)務(wù)和數(shù)據(jù)的準(zhǔn)確映射，提升應(yīng)用的有效性。

效率：打造公共層，實現(xiàn)數(shù)據(jù)的高內(nèi)聚，松耦合，提升應(yīng)用支撐速度。

性能：打造精簡層，實現(xiàn)數(shù)據(jù)的過濾和整合，提升應(yīng)用查詢效率。

魯棒：打造中間層，實現(xiàn)應(yīng)用和數(shù)據(jù)的解耦，提升應(yīng)用的連續(xù)性。

4、算法

機(jī)器學(xué)習(xí)主要分為三大類：

監(jiān)督學(xué)習(xí)：基于現(xiàn)有的經(jīng)驗（打標(biāo)簽）去發(fā)現(xiàn)規(guī)律，然后去預(yù)測未來，比如機(jī)器通過看很多貓的照片然后就會識別其它的貓

無監(jiān)督學(xué)習(xí)：沒有任何經(jīng)驗，自動發(fā)現(xiàn)規(guī)律，比如通過客戶聚類自動發(fā)現(xiàn)一些特殊群體

強(qiáng)化學(xué)習(xí)：某個環(huán)境下的自主個體通過與環(huán)境的互動而不斷改進(jìn)它的行為以獲得最大的累積回報，比如下棋，無人機(jī)

狹義的人工智能可以分為四大類別：

深度學(xué)習(xí)：將現(xiàn)實世界表示為嵌套的層次概念體系，由較簡單概念間的聯(lián)系定義復(fù)雜概念，從一般抽象概括到高級抽象表示，從而獲得強(qiáng)大的性能與靈活性，比如圖片的識別，先識別邊緣，再識別耳朵，再識別臉

強(qiáng)化學(xué)習(xí)：通過對未知環(huán)境一邊探索一邊建立環(huán)境模型以及學(xué)得一個最優(yōu)策略，無論是人類學(xué)走步、鸚鵡走鋼絲還是無人駕駛汽車都應(yīng)用到了強(qiáng)化學(xué)習(xí)

對抗學(xué)習(xí)：生成對抗網(wǎng)絡(luò)通過生成網(wǎng)絡(luò)與判別網(wǎng)絡(luò)兩個神經(jīng)網(wǎng)絡(luò)相互博弈的方式進(jìn)行學(xué)習(xí)，生成網(wǎng)絡(luò)生成真假難辨的數(shù)據(jù)，盡可能讓判別網(wǎng)絡(luò)無法識別真假，判別網(wǎng)絡(luò)則盡可能將真相識別出來，直到判別網(wǎng)絡(luò)無法判斷生成網(wǎng)絡(luò)的輸出結(jié)果是否真實

遷移學(xué)習(xí)：遷移學(xué)習(xí)顧名思義就是就是把已學(xué)訓(xùn)練好的模型參數(shù)遷移到新的模型來幫助新模型訓(xùn)練，一個會打乒乓球的人比沒有經(jīng)驗的人更容易接受網(wǎng)球；會騎自行車的人能更快學(xué)習(xí)騎電動車等等，遷移學(xué)習(xí)就在你身邊

深度學(xué)習(xí)是一種特殊的機(jī)器學(xué)習(xí)，在機(jī)器學(xué)習(xí)中特征選擇部分一般需要人的先驗知識的介入來設(shè)計好的特征提取方法，比如判斷一張圖片是否是貓，首先要定義一些特征，比如該動物是否有胡須、耳朵；如果有耳朵，那么耳朵是否是尖的，然后讓系統(tǒng)識別出在動物中是否有這些重要特征，而深度學(xué)習(xí)會一次性完成這些任務(wù)，深度學(xué)習(xí)會自動找到對分類任務(wù)重要的特征，而機(jī)器學(xué)習(xí)不得不人工指定。

5、思想

舍恩伯格所寫的經(jīng)典書籍《大數(shù)據(jù)時代》是一本大數(shù)據(jù)思想的啟蒙書，它的全體數(shù)據(jù)、混雜性及相關(guān)關(guān)系思想是實用主義的一種代表，但也不是絕對的，需要辯證的去理解。

三、數(shù)據(jù)的目標(biāo)是什么

數(shù)據(jù)的目標(biāo)是驅(qū)動業(yè)務(wù)，需要經(jīng)歷從數(shù)據(jù)到信息、從信息到知識、再從知識到智慧的過程，擁有知識不代表擁有智慧，智慧是選擇知識（多元模型）的能力。

四、數(shù)據(jù)崗位如何理解

將數(shù)據(jù)加工成智慧，依賴于數(shù)據(jù)開發(fā)、數(shù)據(jù)分析、數(shù)據(jù)產(chǎn)品經(jīng)理等崗位人員，每類崗位人員有著自己使命，但也有著獨特的挑戰(zhàn)，功夫往往在詩外。

五、數(shù)據(jù)技術(shù)全景視圖

六、進(jìn)入職場前的準(zhǔn)備