2021 年起，有一件事已是不可逆的趨勢(shì) ——未來商業(yè)世界里，大部分公司，都需要擁有駕馭數(shù)據(jù)的能力，學(xué)會(huì)用數(shù)據(jù)做精細(xì)化運(yùn)營(yíng)，利用數(shù)據(jù)驅(qū)動(dòng)業(yè)務(wù)的增長(zhǎng)。

所以，數(shù)據(jù)崗位，是未來 5 年內(nèi)，無論什么行業(yè)都有持續(xù)需求、非常值得深扎的方向。

今天，小編就來給大家科普幾個(gè)數(shù)據(jù)崗位，包含：定義、工作流程、進(jìn)階方向、價(jià)值......

目錄：

數(shù)據(jù)分析

數(shù)據(jù)產(chǎn)品經(jīng)理

ETL

BI

什么是數(shù)據(jù)分析：

數(shù)據(jù)分析是基于商業(yè)目的，有目的的進(jìn)行收集、整理、加工和分析數(shù)據(jù)，提煉有價(jià)信息的一個(gè)過程。

數(shù)據(jù)分析工作流程：

其過程概括起來主要包括：明確分析目的與框架、數(shù)據(jù)收集、數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)展現(xiàn)和撰寫報(bào)告等6個(gè)階段。

明確分析目的與框架

一個(gè)分析項(xiàng)目，你的數(shù)據(jù)對(duì)象是誰？商業(yè)目的是什么？要解決什么業(yè)務(wù)問題？數(shù)據(jù)分析師對(duì)這些都要了然于心。

基于商業(yè)的理解，整理分析框架和分析思路。例如，減少新客戶的流失、優(yōu)化活動(dòng)效果、提高客戶響應(yīng)率等等。不同的項(xiàng)目對(duì)數(shù)據(jù)的要求，使用的分析手段也是不一樣的。

數(shù)據(jù)收集

數(shù)據(jù)收集是按照確定的數(shù)據(jù)分析和框架內(nèi)容，有目的的收集、整合相關(guān)數(shù)據(jù)的一個(gè)過程，它是數(shù)據(jù)分析的一個(gè)基礎(chǔ)。

數(shù)據(jù)處理

數(shù)據(jù)處理是指對(duì)收集到的數(shù)據(jù)進(jìn)行加工、整理，以便開展數(shù)據(jù)分析，它是數(shù)據(jù)分析前必不可少的階段。這個(gè)過程是數(shù)據(jù)分析整個(gè)過程中最占據(jù)時(shí)間的，也在一定程度上取決于數(shù)據(jù)倉庫的搭建和數(shù)據(jù)質(zhì)量的保證。

數(shù)據(jù)處理主要包括數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)化等處理方法。

數(shù)據(jù)分析

數(shù)據(jù)分析是指通過分析手段、方法和技巧對(duì)準(zhǔn)備好的數(shù)據(jù)進(jìn)行探索、分析，從中發(fā)現(xiàn)因果關(guān)系、內(nèi)部聯(lián)系和業(yè)務(wù)規(guī)律，為商業(yè)目提供決策參考。

到了這個(gè)階段，要能駕馭數(shù)據(jù)、開展數(shù)據(jù)分析，就要涉及到工具和方法的使用。其一要熟悉常規(guī)數(shù)據(jù)分析方法，最基本的要了解例如方差、回歸、因子、聚類、分類、時(shí)間序列等多元和數(shù)據(jù)分析方法的原理、使用范圍、優(yōu)缺點(diǎn)和結(jié)果的解釋；其二是熟悉多種數(shù)據(jù)分析工具，Excel是最常見，一般的數(shù)據(jù)分析我們可以通過Excel完成，后而要熟悉一個(gè)專業(yè)的分析軟件，如數(shù)據(jù)分析工具SPSS/SAS/R/Matlab等，便于進(jìn)行一些專業(yè)的統(tǒng)計(jì)分析、數(shù)據(jù)建模等。

數(shù)據(jù)展現(xiàn)

一般情況下，數(shù)據(jù)分析的結(jié)果都是通過圖、表的方式來呈現(xiàn)，俗話說：字不如表，表不如圖。借助數(shù)據(jù)展現(xiàn)手段，能更直觀的讓數(shù)據(jù)分析師表述想要呈現(xiàn)的信息、觀點(diǎn)和建議。

常用的圖表包括餅圖、折線圖、柱形圖/條形圖、散點(diǎn)圖、雷達(dá)圖、金字塔圖、矩陣圖、漏斗圖、帕雷托圖等。

撰寫報(bào)告

最后階段，就是撰寫數(shù)據(jù)分析報(bào)告，這是對(duì)整個(gè)數(shù)據(jù)分析成果的一個(gè)呈現(xiàn)。通過分析報(bào)告，把數(shù)據(jù)分析的目的、過程、結(jié)果及方案完整呈現(xiàn)出來，以供商業(yè)目的提供參考。

一份好的數(shù)據(jù)分析報(bào)告，首先需要有一個(gè)好的分析框架，并且圖文并茂，層次明晰，能夠讓閱讀者一目了然。結(jié)構(gòu)清晰、主次分明可以使閱讀者正確理解報(bào)告內(nèi)容；圖文并茂，可以令數(shù)據(jù)更加生動(dòng)活潑，提高視覺沖擊力，有助于閱讀者更形象、直觀地看清楚問題和結(jié)論，從而產(chǎn)生思考。

另外，數(shù)據(jù)分析報(bào)告需要有明確的結(jié)論、建議和解決方案，不僅僅是找出問題，后者是更重要的，否則稱不上好的分析，同時(shí)也失去了報(bào)告的意義，數(shù)據(jù)的初衷就是為解決一個(gè)商業(yè)目的才進(jìn)行的分析，不能舍本求末。

數(shù)據(jù)產(chǎn)品經(jīng)理，是在產(chǎn)品經(jīng)理的基礎(chǔ)上，疊加上數(shù)據(jù)從業(yè)人員的職業(yè)素養(yǎng)，從而創(chuàng)造出一些為數(shù)據(jù)人員服務(wù)的產(chǎn)品和平臺(tái)。一個(gè)組織的數(shù)據(jù)好不好，亂不亂，都要依賴數(shù)據(jù)產(chǎn)品經(jīng)理的職業(yè)素養(yǎng)。

數(shù)據(jù)產(chǎn)品經(jīng)理的目的是使企業(yè)里面人人都是數(shù)據(jù)分析師，降低數(shù)據(jù)的使用的門檻，提高數(shù)據(jù)使用效率。這個(gè)是作為數(shù)據(jù)產(chǎn)品經(jīng)理最基礎(chǔ)的、核心的工作。

勝任數(shù)據(jù)產(chǎn)品經(jīng)理應(yīng)具備哪些能力？

基本能力：交互設(shè)計(jì)能力、需求梳理能力、數(shù)據(jù)理解與使用能力、數(shù)據(jù)分析能力、業(yè)務(wù)建模能力等。

以上屬于基本的崗位技能，但滿足這些基本的能力之后，會(huì)更看重溝通協(xié)調(diào)能力和項(xiàng)目管理能力；后面的這兩個(gè)能力是解決從一個(gè)概念到最終落地的核心關(guān)鍵，如果沒有后者，只滿足前者的基本能力也可以，尤其是做的特別好的，也很不錯(cuò)，但慢慢會(huì)成為工具人。溝通協(xié)調(diào)能力和項(xiàng)目管理能力是非常重要的，這兩個(gè)能力是解決從基本的數(shù)據(jù)概念/應(yīng)用概念到落地的一個(gè)核心的關(guān)鍵。

做好溝通管理的關(guān)鍵因素有哪些？

從項(xiàng)目管理的角度來說，其實(shí)是有方法論的。比如去做大型的項(xiàng)目，可能會(huì)按照一套標(biāo)準(zhǔn)的流程來走，輸出各種文檔、有各種規(guī)范等等。每一個(gè)環(huán)節(jié)都要注意什么，都是有方法論的。這里面是有很多的通用方法，所以建議大家先去了解項(xiàng)目管理的一些基本方法，再結(jié)合實(shí)戰(zhàn)去鍛煉自己。

ETL就是抽取、轉(zhuǎn)換、加載這三個(gè)單詞的縮寫，所以顧名思義主要的工作就是把數(shù)據(jù)從哪塊兒抽過來，然后進(jìn)行一個(gè)清洗、加工，最后再存到哪塊兒。

ETL工作流程

抽取：這個(gè)環(huán)節(jié)可能主要是比如說Sqoop、Flume、Kafka、還有Kettle、DataX、Maxwell這些都是抽取工具。離線可能主要是用的Sqoop或者是DataX去進(jìn)行離線數(shù)據(jù)的抽取，像實(shí)時(shí)可能會(huì)采用比如說Flume或者是Kafka、Maxwell，還有Kettle去進(jìn)行抽取。

轉(zhuǎn)換：轉(zhuǎn)換包括清洗、合并、拆分、加工等等，可以用Hadoop生態(tài)的東西， MapReduce、Spark、Flink、Hive等去進(jìn)行數(shù)據(jù)方面的清洗。

加載：抽取轉(zhuǎn)換之后，就是將數(shù)據(jù)加載到目標(biāo)數(shù)據(jù)庫。可能會(huì)用到Hbase去存儲(chǔ)一些大數(shù)據(jù)方面的東西，或者HDFS等等這些工具。

ETL工程師的崗位價(jià)值

ETL的工作主要是對(duì)數(shù)倉的底層建設(shè)，ETL這個(gè)崗位是非常重要的，因?yàn)樗鼘儆谑且粋€(gè)基礎(chǔ)，如果ETL工作做好的話會(huì)有事半功倍的效果。

如果做不好可能后續(xù)會(huì)有很多的一些問題，比如說數(shù)據(jù)如果沒有清洗好，后續(xù)分析起來可能會(huì)有很多的臟數(shù)據(jù)等等。而且數(shù)據(jù)使用起來也非常的不方便。

ETL工程師進(jìn)階指南

初級(jí)：對(duì)業(yè)務(wù)理解的不是特別的深入，技術(shù)上也就是會(huì)使用，出現(xiàn)一些問題可能不能獨(dú)立解決或者是獨(dú)立解決的問題數(shù)量會(huì)比較少，需要去咨詢大牛之類的。

中級(jí)：對(duì)業(yè)務(wù)相對(duì)來說比較熟悉，另一方面就是理解能力也比較強(qiáng)，技術(shù)上可能已經(jīng)比較熟練了，而且還對(duì)框架、原理都有一些了解，也會(huì)調(diào)優(yōu)。而且中級(jí)可能會(huì)參與到管理中，分一個(gè)小組，做一些比較小的項(xiàng)目或者需求。

高級(jí)：對(duì)業(yè)務(wù)就是非常熟悉，技術(shù)是服務(wù)于業(yè)務(wù)的，所以熟悉業(yè)務(wù)非常重要，我們現(xiàn)在實(shí)現(xiàn)的功能，其實(shí)就是建立在業(yè)務(wù)的基礎(chǔ)上去做的，另一方面高級(jí)的ETL工程師對(duì)各項(xiàng)技術(shù)、系統(tǒng)架構(gòu)都非常熟悉或者是會(huì)設(shè)計(jì)這樣的架構(gòu)，同時(shí)具有管理能力，可以帶領(lǐng)團(tuán)隊(duì)完成項(xiàng)目。

BI全稱商業(yè)智能（Business Intelligence），在傳統(tǒng)企業(yè)中，它是一套完整的解決方案。將企業(yè)的數(shù)據(jù)有效整合，快速制作出報(bào)表以作出決策。

商業(yè)智能BI在數(shù)據(jù)架構(gòu)中處于前端分析的位置，其核心作用是對(duì)獲取數(shù)據(jù)的多維度分析、數(shù)據(jù)的切片、數(shù)據(jù)的上鉆和下鉆、cube等。通過ETL數(shù)據(jù)抽取、轉(zhuǎn)化形成一個(gè)完整的數(shù)據(jù)倉庫、然后對(duì)數(shù)據(jù)倉庫的數(shù)據(jù)進(jìn)行抽取，而后是商業(yè)智能的前端分析和展示。

BI的用途

一種是利用BI制作自動(dòng)化報(bào)表，數(shù)據(jù)類工作每天都會(huì)接觸大量數(shù)據(jù)，并且需要整理匯總，這是一塊很大的工作量。這部分工作可以交給BI自動(dòng)化完成，從數(shù)據(jù)規(guī)整、建模到下載。

另外一種是使用其可視化功能進(jìn)行分析，BI的優(yōu)點(diǎn)在于它提供比Excel更豐富的可視化功能，操作簡(jiǎn)單上手，而且美觀，如果大家每天作圖需要兩小時(shí)，BI會(huì)縮短一半時(shí)間。

BI的步驟

大體分為以下五個(gè)步驟：

數(shù)據(jù)源讀取

數(shù)據(jù)清洗

數(shù)據(jù)關(guān)聯(lián)

圖表制作

Dashboard整合

BI給企業(yè)帶來的價(jià)值

整合信息孤島——整體分析問題BI可以將企業(yè)信息化的數(shù)據(jù)孤島整合起來，提供一個(gè)全局的視圖，讓決策者可以更加全面地看待問題，降低決策失誤風(fēng)險(xiǎn)性。

提高決策質(zhì)量——深入分析問題BI能夠?qū)?shù)據(jù)轉(zhuǎn)換為知識(shí)進(jìn)而輔助決策，能夠使決策者決策更加迅速準(zhǔn)確，能夠給企業(yè)注入新的革命性的管理思想。決策者可以根據(jù)BI提供的鉆取功能對(duì)數(shù)據(jù)結(jié)果進(jìn)行追根溯源，使問題的分析不止步于表面結(jié)果，發(fā)掘出數(shù)據(jù)中包含的機(jī)會(huì)：即如何以更低的成本、更快的速度、更高的質(zhì)量完成任務(wù)；這使管理者能在質(zhì)疑中不斷以創(chuàng)新來獲得差異化競(jìng)爭(zhēng)優(yōu)勢(shì)。

數(shù)據(jù)挖掘預(yù)測(cè)——長(zhǎng)遠(yuǎn)分析問題BI系統(tǒng)的預(yù)測(cè)功能使企業(yè)看問題更長(zhǎng)遠(yuǎn)，決策更具前瞻性。BI會(huì)根據(jù)對(duì)積累的大數(shù)據(jù)進(jìn)行挖掘，得到數(shù)據(jù)的之間潛在的規(guī)律或趨勢(shì)，進(jìn)而做出下一步預(yù)測(cè)。由于它需要復(fù)雜的算法、統(tǒng)計(jì)模型和大量的數(shù)據(jù)，所以需要支持大數(shù)據(jù)量的處理能力，像并行算法和網(wǎng)格計(jì)算是非常有必要的。

幫企業(yè)進(jìn)行風(fēng)險(xiǎn)預(yù)警——風(fēng)險(xiǎn)的預(yù)測(cè)和評(píng)估是非常重要的。企業(yè)可以在BI系統(tǒng)中設(shè)置數(shù)據(jù)報(bào)警閾值，數(shù)據(jù)一旦超標(biāo)，系統(tǒng)會(huì)以各種手段通知到管理員，使企業(yè)風(fēng)險(xiǎn)可控，減少安全漏洞。

提高員工工作效率——在沒有BI之前，員工要寫大量復(fù)雜的SQL語句，制作大量報(bào)表以滿足業(yè)務(wù)要求，決策者在面對(duì)大量堆積報(bào)表數(shù)據(jù)也感到頭疼。而BI則徹底改變了這種現(xiàn)狀，使業(yè)務(wù)人員可以輕松進(jìn)行數(shù)據(jù)分析，使決策者可以自在查看分析，及時(shí)查看到?jīng)Q策所關(guān)心的數(shù)據(jù)。

從特點(diǎn)上分析，BI的投入成本低、更加平民化、更加易于操作，部署周期更短，讓更多的企業(yè)客戶能以較低的投入享受到最專業(yè)的大數(shù)據(jù)服務(wù)。

商業(yè)智能最大意義就是數(shù)據(jù)分析能夠讓公司里所有人都獲益。它不是一種特權(quán)，不是只給公司里的一兩個(gè)人看，而是能夠讓公司里面各個(gè)業(yè)務(wù)部門，特別是前線打仗的部門，能夠直接得到好處。