三年前，一部暢銷書—《爆發(fā)》，點(diǎn)燃了公眾對大數(shù)據(jù)的熱情。《爆發(fā)》的作者巴拉巴西教授為大家打開了一扇從未見有過的窗戶，讓人們看到了另外一個世界，一個和諧、有序、美麗的世界。這個世界，是我們之前從未想過，也從不敢想的世界。

這個世界，就是掩藏在表象之下，被數(shù)據(jù)所揭示的世界！

在這個世界里，93%的未來事件是可以預(yù)知的；在這個世界里，所有的一切都是有序的，和諧的，按照自然規(guī)律運(yùn)轉(zhuǎn)的。

半年之后，就在人們逐漸淡忘了《爆發(fā)》的時候，舍恩伯格教授的《大數(shù)據(jù)時代》面世了。雖然只經(jīng)歷了短短半年，但大數(shù)據(jù)得到了飛速的發(fā)展。大數(shù)據(jù)（Big Data）一詞越來越多地被提及。數(shù)據(jù)正在迅速膨脹變大，它決定著企業(yè)的未來發(fā)展，人們也越來越多的意識到數(shù)據(jù)對企業(yè)的重要性。

正如《紐約時報》2012年2月的一篇專欄中所稱，“大數(shù)據(jù)”時代已經(jīng)降臨，在商業(yè)、經(jīng)濟(jì)及其他領(lǐng)域中，決策將日益基于數(shù)據(jù)和分析而作出，而并非基于經(jīng)驗和直覺。

哈佛大學(xué)社會學(xué)教授加里·金說：“這是一場革命，龐大的數(shù)據(jù)資源使得各個領(lǐng)域開始了量化進(jìn)程，無論學(xué)術(shù)界、商界還是政府，所有領(lǐng)域都將開始這種進(jìn)程。

知乎有組數(shù)據(jù)，到2012年為止，人類生產(chǎn)的所有印刷材料的數(shù)據(jù)量是200PB（1024TB=1PB），全人類歷史上說過的所有話的數(shù)據(jù)量大約是5EB（1024PB=1EB）。IBM的研究稱，整個人類文明所獲得的全部數(shù)據(jù)中，有90%是2012、2013兩年產(chǎn)生的；而到了2020年，全世界所產(chǎn)生的數(shù)據(jù)規(guī)模將達(dá)到今天的44倍。

我們正處于一個大數(shù)據(jù)時代。

大數(shù)據(jù)真的有用嗎

盡管今天到處都在談著大數(shù)據(jù)的神奇之處；盡管現(xiàn)在不跟大數(shù)據(jù)扯上點(diǎn)關(guān)系的業(yè)務(wù)就仿佛不是好業(yè)務(wù)；但相信用不了多久，越來越多的人會質(zhì)疑大數(shù)據(jù)的真正功效。一切幻象終要回歸本質(zhì)。

大數(shù)據(jù)是泡沫嗎？這是個從2012年起至今資本圈一直爭論不休的話題。一方面投出去的項目還在年復(fù)一年地?zé)X，別說何時賺錢，就連個像樣的商業(yè)模型都沒有；另一方面又感覺這是個大機(jī)會，一旦踏空，將會犯系統(tǒng)性錯誤。資本市場就在糾結(jié)中度過了三年。

今年初，隨著互聯(lián)網(wǎng)金融的持續(xù)升溫，各種金服讓資本市場眼前一亮，終于在層層迷茫中看到了希望。于是各路神仙紛紛出手，造就了一個又一個的資本神話。身邊的幾個項目，最少的估值也在十億以上！

為什么金服公司能夠擁有如此高的估值？大數(shù)據(jù)真的能給金融業(yè)帶來革命性的變化嗎？

客觀地講，大數(shù)據(jù)的確會給金融行業(yè)帶來一些很有意義的變化，如信用卡的低成本精準(zhǔn)獲客，貸前的決策支持和貸后的預(yù)警等等，但這些改變，還沒有達(dá)到革命性的地步。

大數(shù)據(jù)的典型應(yīng)用之一，營銷白名單。通過對數(shù)據(jù)的處理，可以還原出用戶的畫像，并精準(zhǔn)地篩選出合適的用戶。并通過線上線下的互動，以很低成本的代價，快速獲客。

而對于金融業(yè)更為關(guān)心的貸前的風(fēng)控而言，還沒有足夠的證據(jù)表明基于大數(shù)據(jù)的信用模型，可以取代原有的經(jīng)過近百年實踐考驗的信用模型。

傳統(tǒng)的信用模型，是基于結(jié)構(gòu)化數(shù)據(jù)設(shè)計的模型。盡管沒有大數(shù)據(jù)那么大的規(guī)模，那么多的變量，但這個模型行之有效。幾十年來，一直很好地工作著，被各大銀行所使用。而相比于傳統(tǒng)模型，以大數(shù)據(jù)為基礎(chǔ)的信用模型，選用了數(shù)百倍，數(shù)千倍的變量來試圖降低在原有信用模型中，對某一個變量準(zhǔn)確度的要求。

如果說，傳統(tǒng)模型是基于結(jié)構(gòu)化數(shù)據(jù)，模型中雖然涉及的變量不多，但每一個變量都對數(shù)據(jù)的準(zhǔn)確性有非常高的要求；那么，大數(shù)據(jù)信用模型，是基于結(jié)構(gòu)化和非結(jié)構(gòu)化混合數(shù)據(jù)，用大量的變量去替代少數(shù)強(qiáng)變量，從而試圖降低對某一變量數(shù)據(jù)準(zhǔn)確性的要求。

這一理念和想法是好的，但迄今為止，還沒有取得足夠令人信服的效果。

這里并沒有貶低大數(shù)據(jù)信用模型的意思，相反，由于得到大數(shù)據(jù)的補(bǔ)充，以銀行為代表的金融機(jī)構(gòu)，可以很好地解決自身數(shù)據(jù)時效性和完整性的問題，從而可以將這些信息更好地補(bǔ)充到傳統(tǒng)的信貸模型里去。只是不要過分夸大大數(shù)據(jù)在金融風(fēng)控環(huán)節(jié)的作用。

在貸后的預(yù)警方面，大數(shù)據(jù)也可以發(fā)揮很好的作用。以前需要全部依靠人工的方式去做的事情，現(xiàn)在很多可以由數(shù)據(jù)的挖掘和分析來實現(xiàn)。在保證風(fēng)險控制水準(zhǔn)不降低的情況下，降低對人工的需求。而且有些時候，數(shù)據(jù)的挖掘與分析可以使銀行更及時地發(fā)現(xiàn)企業(yè)的不良狀況，提早預(yù)警。

所以說，大數(shù)據(jù)在金融業(yè)的作用已經(jīng)得到了證實。

除了金融行業(yè)，其實大數(shù)據(jù)在更多的領(lǐng)域預(yù)測都有過很好的效果，長尾效應(yīng)的改善，交通擁堵的預(yù)警，自然災(zāi)難的預(yù)測，等等。

早在80年代，翁文波老先生就預(yù)測到了91年華東、華中的那場特大洪水。這個預(yù)測發(fā)布在1984年出版的《預(yù)測論基礎(chǔ)》一書的第125頁，當(dāng)時并沒有引起人們的注意。七年后，一場特大洪澇災(zāi)害襲擊了華東、華中廣大地區(qū)，這才有人想起，一位石油科學(xué)家對這場洪水早有預(yù)料。

在天災(zāi)預(yù)測中，翁文波對天文學(xué)中的可公度性給予了特別關(guān)注。翁文波認(rèn)為，可公度性并不是偶然的，它是自然界的一種秩序，因而是一種信息系。可公度性不僅存在于天體運(yùn)動中，也存在于地球上的自然現(xiàn)象中。

大數(shù)據(jù)是有用的，只是很多價值還需要我們不斷地去探索，開發(fā)。在很多應(yīng)用場景里，不要只過于關(guān)心數(shù)據(jù)是否“大”，同樣還要關(guān)心數(shù)據(jù)的挖掘，因為只有對數(shù)據(jù)的深加工，才能發(fā)現(xiàn)很多隱藏在表象下面的“真相”。

大數(shù)據(jù)能賺錢嗎

近幾年來不知是由于經(jīng)濟(jì)下滑，還是物極必反，人們已經(jīng)很排斥純粹燒錢的模式。能否“變現(xiàn)”，也成了衡量一個項目好壞的標(biāo)準(zhǔn)。

在一次演講會上，美國大數(shù)據(jù)領(lǐng)域超人Nate Silver對臺下眾多企盼得到成功秘笈的聽眾們坦言，“我的成功你沒法復(fù)制”。這也是整個行業(yè)的縮影。大數(shù)據(jù)項目雖然橫跨了多個領(lǐng)域，但真正在一個行業(yè)或者一個領(lǐng)域內(nèi)取得巨大成功的創(chuàng)業(yè)公司還是鳳毛麟角；而且，這些為數(shù)不多的企業(yè)，之所以取得成功還夾雜著這樣或那樣的“偶然”因素，別人根本無法復(fù)制他們的成功模式。

既然成功模式還無法復(fù)制，那我們退一步，來看看產(chǎn)業(yè)鏈中都有哪些環(huán)節(jié)，你在整個產(chǎn)業(yè)鏈中可能會扮演什么角色？我們以北美目前最為成熟的數(shù)字廣告業(yè)（目前被公認(rèn)的為數(shù)不多的成熟大數(shù)據(jù)項目）為例，來說明大數(shù)據(jù)產(chǎn)業(yè)中可能的幾種角色。

數(shù)字廣告產(chǎn)業(yè)鏈看大數(shù)據(jù)格局

從這幅圖中我們可以看出，整個大數(shù)據(jù)產(chǎn)業(yè)鏈，可以分成這樣四種角色：數(shù)據(jù)提供商，算法提供商，數(shù)據(jù)優(yōu)化提供商和應(yīng)用提供商。

數(shù)據(jù)提供商

一般都是由于擁有某種入口資源，經(jīng)過了數(shù)年，甚至十?dāng)?shù)年的積累，形成了在某一領(lǐng)域，某一行業(yè)獨(dú)特的數(shù)據(jù)資源優(yōu)勢。數(shù)據(jù)提供商可以將數(shù)據(jù)提供給第三方使用，從而將資源優(yōu)勢轉(zhuǎn)化，形成實際的收益。由于分工的細(xì)化，數(shù)據(jù)提供商未必自己去做產(chǎn)業(yè)鏈的其它角色。當(dāng)然，隨著數(shù)據(jù)成本的日益增高，數(shù)據(jù)將越來越匯聚到幾家巨頭手里，而形成幾家數(shù)據(jù)寡頭為中心，數(shù)家各領(lǐng)域，各行業(yè)壟斷為補(bǔ)充的格局。

舉個最簡單的例子，按照身邊幾家數(shù)據(jù)公司最多的融資（注意是融資，不是估值！），4億人民幣，如果想打通某項數(shù)據(jù)，需要去外部購買，每條信息1元，買4億個用戶的數(shù)據(jù)，資金鏈就斷了，又得融下一輪了；而現(xiàn)在1元錢，根本買不到足夠數(shù)量和質(zhì)量的數(shù)據(jù)。

所以說，數(shù)據(jù)提供商是講出身的，你沒有入口資源，還是不要去妄想成為這一角色了吧。

算法提供商

這一角色可以沒有數(shù)據(jù)，但必須要擁有很強(qiáng)的算法能力和行業(yè)的背景。目前在各個行業(yè)都有一些獨(dú)立的第三方算法服務(wù)提供商。這些企業(yè)雖然沒有數(shù)據(jù)，但具有行業(yè)豐富的經(jīng)驗和背景，可以為客戶提供很好的算法服務(wù)。

單純有算法，沒有行業(yè)的背景，沒有對行業(yè)的了解是不夠的。再好的模型，沒有行業(yè)的最佳實踐，沒有對行業(yè)的深邃洞察力，沒有經(jīng)驗的積累也只能是紙上談兵。

數(shù)據(jù)優(yōu)化提供商

這一角色一般也沒有足夠的數(shù)據(jù)源。屬于整個產(chǎn)業(yè)鏈比較尷尬的角色，有點(diǎn)像生產(chǎn)線上的技術(shù)工人。它需要從數(shù)據(jù)提供方買來數(shù)據(jù)（或者由需求方提供數(shù)據(jù)），然后按照需求方的要求，將數(shù)據(jù)整理、優(yōu)化，交付給甲方。至于甲方如何來使用，它并不介入。數(shù)據(jù)優(yōu)化提供商既沒有足夠的數(shù)據(jù)資源，又沒有算法提供商強(qiáng)大的算法和行業(yè)洞察能力，所以只能做些低附加值的技術(shù)勞務(wù)輸出。

應(yīng)用提供商

這一角色又叫解決方案提供商，是離客戶最近的一個環(huán)節(jié)，也是最能體現(xiàn)價值的一個環(huán)節(jié)。

對客戶而言，他并不關(guān)心大數(shù)據(jù)到底有多大，數(shù)據(jù)是否足夠優(yōu)化，算法是否足夠科學(xué)；他關(guān)心的是，是否能給他解決實際的問題。

從這一點(diǎn)上，應(yīng)用提供商頗似一個系統(tǒng)集成商。它需要根據(jù)用戶的實際需求，去判斷需要準(zhǔn)備什么樣的數(shù)據(jù)，需要采用什么樣的算法，需要將數(shù)據(jù)如何優(yōu)化，以便達(dá)到最優(yōu)的效果，幫助客戶解決什么樣的實際問題。

以上，就是我歸納的目前大數(shù)據(jù)市場上的幾種角色。要想在市場立足，必須要先明白自己屬于哪個角色。定錯了位，沒有一個正確的起點(diǎn)，沒有一個正確的方向，跑的再辛苦也不會達(dá)到終點(diǎn)。

清楚了自己的身份，接下來要做的就是積累，不斷地積累、優(yōu)化；不斷地往上爬，爭取做到各自領(lǐng)域的前三。只要你提供服務(wù)的價值是被市場認(rèn)可的，賺錢是遲早的事兒。

數(shù)據(jù)有多重要

近來有個說法，得數(shù)據(jù)者得天下。在大數(shù)據(jù)時代，沒有數(shù)據(jù)你怎么能夠進(jìn)入這一市場呢？相反，我有了數(shù)據(jù)，即使我不知道怎么來用，也比沒數(shù)據(jù)，知道怎么用的公司強(qiáng)，估值高。數(shù)據(jù)是稀缺資源，待價而沽。

從某種程度來說，這個是有道理的。因為不同的數(shù)據(jù)質(zhì)量，決定了不同的業(yè)務(wù)。業(yè)務(wù)的發(fā)展，從一定程度上會受到數(shù)據(jù)的質(zhì)量、數(shù)量、維度三方面的限制。

數(shù)據(jù)的數(shù)量、維度比較容易理解。只有擁有了足夠豐富的數(shù)據(jù)維度，足夠的數(shù)據(jù)數(shù)量才可以盡可能地去描繪、還原事物的本來面目。經(jīng)常被人忽略的是數(shù)據(jù)的質(zhì)量。所謂數(shù)據(jù)的質(zhì)量，其實就是跟被推斷，被挖掘事物的關(guān)聯(lián)程度。最好的數(shù)據(jù)是不需要挖掘的，數(shù)據(jù)等于“真相”。

舉個例子，比方說你在微博上發(fā)了一條信息，“我的寶寶今天上午十一點(diǎn)出生了”。那么這條信息作為數(shù)據(jù)被存儲起來，數(shù)據(jù)等于“真相”。這是不需要任何挖掘和推斷的，直接可以被利用。比方說，基于某天“有了寶寶”這一事實，就需要奶粉、尿不濕，之后三年需要早教，等等，等等。

相反，如果信息匱乏，或者說不能直接采集到相關(guān)的數(shù)據(jù)，需要通過已知的信息去推斷未知的事物，那么就屬于挖掘的范疇。推斷的結(jié)果自然可能是對的，也可能是錯的，這就涉及到準(zhǔn)確率的問題了。再好的模型，再豐富的數(shù)據(jù)維度和再大的數(shù)據(jù)量，也只能是無限逼近真相。

所以，離真相越近的數(shù)據(jù)，質(zhì)量就越高，價值也就越大；相反，離真相越遠(yuǎn)的數(shù)據(jù)，質(zhì)量就越低，價值就越小。這一點(diǎn)已經(jīng)得到市場的充分認(rèn)可。

由于數(shù)據(jù)質(zhì)量的差別，客觀上也造成了業(yè)務(wù)上的差異。

所幸，從各種跡象上表明，未來成熟的大數(shù)據(jù)格局，在朝著我所歸納的四種角色發(fā)展。數(shù)據(jù)將逐漸打破壟斷，趨于開放。只是好的數(shù)據(jù)質(zhì)量自然會貴些，差的數(shù)據(jù)質(zhì)量自然會便宜些而已。

當(dāng)然，這不是一個短期內(nèi)可以實現(xiàn)的目標(biāo)，需要一個演進(jìn)的過程。在這個過程當(dāng)中，勢必會有一些巨頭，利用數(shù)據(jù)資源上的差異，開發(fā)出比其他競爭對手更有優(yōu)勢的業(yè)務(wù)來。但我個人認(rèn)為，這一優(yōu)勢沒有那么大，也不會維系很久。

支撐我觀點(diǎn)的原因有兩點(diǎn)，一個是隨著國家很多數(shù)據(jù)資源的開放，即便沒有少數(shù)幾個寡頭壟斷的數(shù)據(jù)，也可以找到其他替代的數(shù)據(jù)來達(dá)成目標(biāo)，形成新業(yè)務(wù)；還有一個原因是可以采取借雞生蛋的方法，只要想辦法搞到初期啟動的數(shù)據(jù)，做成產(chǎn)品，迅速形成商業(yè)閉環(huán)，用業(yè)務(wù)產(chǎn)生的數(shù)據(jù)，用機(jī)器學(xué)習(xí)的方法，不斷地訓(xùn)練模型，不斷地優(yōu)化，最終實現(xiàn)目標(biāo)。

所以，我雖然同意數(shù)據(jù)是一種戰(zhàn)略資源，從某種程度上說，有了壟斷的，高質(zhì)量的數(shù)據(jù)，可以做出好的數(shù)據(jù)產(chǎn)品，可以領(lǐng)先別的競爭對手一段時間，提供差異化服務(wù)；但我真的不認(rèn)為，得數(shù)據(jù)者得天下。

淘金大數(shù)據(jù)

上面將整個大數(shù)據(jù)產(chǎn)業(yè)鏈劃分成了四種角色。什么角色掙什么錢；有多大本事掙多少錢。想在市場上謀有一席之地，靠的還是實力。

數(shù)據(jù)提供商

數(shù)據(jù)提供商領(lǐng)域，依舊屬于市場初期。目前沒有任何一家數(shù)據(jù)提供商可以提供所有維度的數(shù)據(jù)；每家都只擁有網(wǎng)民的部分?jǐn)?shù)據(jù)（業(yè)界最高的識別率，一般不超過30%）。現(xiàn)在最時髦的各家的“用戶畫像”也只是盲人摸象。距離真相，還有一定的距離。

這就造成了客觀上由于信息不對稱，而給一些中小數(shù)據(jù)提供商的市場空間。中小數(shù)據(jù)提供商可以充分利用巨頭們還在整合數(shù)據(jù)資源的階段里，快速地變現(xiàn)（最簡單地例子就是數(shù)據(jù)的粗加工出售，控制成本，做到哪天算哪天，爭取利益最大化）；或者去尋找某一個行業(yè)，苦練內(nèi)功，成為大數(shù)據(jù)的應(yīng)用服務(wù)提供商。從而在數(shù)據(jù)提供商市場壟斷到來的那天，能夠華麗轉(zhuǎn)身，蛻變成應(yīng)用提供商，繼續(xù)在市場中存活。

數(shù)據(jù)優(yōu)化服務(wù)提供商

雖然數(shù)據(jù)優(yōu)化服務(wù)提供商低端，但在整個的產(chǎn)業(yè)鏈里還不容易被取代。隨著產(chǎn)業(yè)鏈的日益成熟，分工的日益細(xì)化，數(shù)據(jù)優(yōu)化服務(wù)提供商可能作為一個環(huán)節(jié)獨(dú)立存在，而不是作為數(shù)據(jù)提供商的一環(huán)。

這一角色，需要精通各種大數(shù)據(jù)的模型、算法，也需要了解不同數(shù)據(jù)的特點(diǎn)，從而可以根據(jù)用戶的需求，為用戶“優(yōu)化”出符合他們需求的數(shù)據(jù)。

算法提供商

算法提供商將會隨著行業(yè)應(yīng)用的深化不斷地強(qiáng)化自身在行業(yè)的優(yōu)勢，對后來者筑起壁壘；而且，隨著在行業(yè)經(jīng)驗的積累，算法提供商是最容易成為應(yīng)用服務(wù)提供商的。也勢必會被應(yīng)用服務(wù)提供商所取代，不會以單獨(dú)的形式存在。起碼會被應(yīng)用服務(wù)提供商壓縮至很小的空間。隨著行業(yè)應(yīng)用的深入，每個行業(yè)逐漸也會形成幾家獨(dú)大的格局。由算法提供商演變的應(yīng)用提供商勢必會給后來的單純算法提供商造成很大的壁壘。所以，單純的算法提供商在未來幾年內(nèi)，可能會逐漸淡出。

應(yīng)用提供商

應(yīng)用提供商應(yīng)該具有乾坤大挪移的功夫，他不但要了解用戶的需求，而且清楚地知道哪些是大數(shù)據(jù)能做到的，哪些是大數(shù)據(jù)做不到的。他需要懂得約束客戶的需求和預(yù)期，大數(shù)據(jù)不是萬能的。

應(yīng)用提供商還需要了解什么樣的應(yīng)用，需要什么樣的數(shù)據(jù)，什么樣的算法模型。

應(yīng)用提供商是未來成熟大數(shù)據(jù)市場最為關(guān)鍵的角色。數(shù)據(jù)終究是原材料，能否做出一桌好菜，還要看廚師的手藝。對行業(yè)的洞察力和經(jīng)驗，就是對火候的掌握，就是廚師的手藝。

大數(shù)據(jù)不但有用，而且確確實實可以賺錢。只是你需要搞清楚，自己是什么角色，能賺什么錢！數(shù)據(jù)作為未來企業(yè)的戰(zhàn)略資源，的確有著毋庸置疑的重要性，但不至于沒有數(shù)據(jù)，就寸步難行，還沒到得數(shù)據(jù)者得天下的地步。

清晰了產(chǎn)業(yè)鏈的格局，就可以對號入座，清楚自己在產(chǎn)業(yè)鏈的位置。繼而沿著自己既定的發(fā)展方向堅定不移地走下去。

大數(shù)據(jù)的決戰(zhàn)已然拉開了帷幕，你準(zhǔn)備好了嗎？