新用戶(hù)登錄后自動(dòng)創(chuàng )建賬號
登錄2009年時(shí),全世界關(guān)于大數據的研究項目還非常有限,從2011年開(kāi)始,越來(lái)越多的管理者開(kāi)始意識到,大數據將是未來(lái)發(fā)展不可規避的問(wèn)題,而到2012年年底,世界財富500 強企業(yè)中90%的企業(yè)都開(kāi)展了大數據的項目。
IDC的研究顯示,到2015年,大數據市場(chǎng)前景將達到169億美元的規模。當前所有企業(yè)的商業(yè)數據每隔1.2年就將遞增一倍。無(wú)疑,數據信息的大爆炸不斷提醒著(zhù)我們,未來(lái)將會(huì )因大數據技術(shù)而改變。
那么,大數據為什么成為所有人關(guān)注的焦點(diǎn)?大數據帶來(lái)了什么樣的本質(zhì)性改變?為此,我們與中國計算機學(xué)會(huì )大數據學(xué)術(shù)帶頭人、中國人民大學(xué)信息學(xué)院院長(cháng)杜小勇教授進(jìn)行了訪(fǎng)談。
杜小勇教授認為,大數據帶來(lái)了三大根本改變:第一、大數據讓人們脫離了對算法和模型的依賴(lài),數據本身即可幫助人們貼近事情的真相;第二、大數據弱化了因果關(guān)系。
大數據分析可以挖掘出不同要素之間的相關(guān)關(guān)系。人們不需要知道這些要素為什么相關(guān)就可以利用其結果,在信息復雜錯綜的現代社會(huì ),這樣的應用將大大提高效率;
第三、與之前的數據庫相關(guān)技術(shù)相比,大數據可以處理半結構化或非結構化的數據。這將使計算機能夠分析的數據范圍迅速擴大。
杜小勇教授用例子更進(jìn)一步闡述了上述觀(guān)點(diǎn):
第一、計算機科學(xué)在大數據出現之前,非常依賴(lài)模型以及算法。
人們如果想要得到精準的結論,需要建立模型來(lái)描述問(wèn)題,同時(shí),需要理順邏輯,理解因果,設計精妙的算法來(lái)得出接近現實(shí)的結論。因此,一個(gè)問(wèn)題,能否得到最好的解決,取決于建模是否合理,各種算法的比拼成為決定成敗的關(guān)鍵。
然而,大數據的出現徹底改變了人們對于建模和算法的依賴(lài)。舉例來(lái)說(shuō),假設解決某一問(wèn)題有算法A 和算法B。在小量數據中運行時(shí),算法A的結果明顯優(yōu)于算法B。也就是說(shuō),就算法本身而言,算法A能夠帶來(lái)更好的結果.
然而,人們發(fā)現,當數據量不斷增大時(shí),算法B在大量數據中運行的結果優(yōu)于算法A在小量數據中運行的結果。這一發(fā)現給計算機學(xué)科及計算機衍生學(xué)科都帶來(lái)了里程碑式的啟示:
當數據越來(lái)越大時(shí),數據本身(而不是研究數據所使用的算法和模型)保證了數據分析結果的有效性。即便缺乏精準的算法,只要擁有足夠多的數據,也能得到接近事實(shí)的結論。數據因此而被譽(yù)為新的生產(chǎn)力。
第二、當數據足夠多的時(shí)候,不需要了解具體的因果關(guān)系就能夠得出結論。
例如,Google 在幫助用戶(hù)翻譯時(shí),并不是設定各種語(yǔ)法和翻譯規則。而是利用Google數據庫中收集的所有用戶(hù)的用詞習慣進(jìn)行比較推薦。Google檢查所有用戶(hù)的寫(xiě)作習慣,將最常用、出現頻率最高的翻譯方式推薦給用戶(hù)。
在這一過(guò)程中,計算機可以并不了解問(wèn)題的邏輯,但是當用戶(hù)行為的記錄數據越來(lái)越多時(shí),計算機就可以在不了解問(wèn)題邏輯的情況之下,提供最為可靠的結果??梢?jiàn),海量數據和處理這些數據的分析工具,為理解世界提供了一條完整的新途徑。
第三、由于能夠處理多種數據結構,大數據能夠在最大程度上利用互聯(lián)網(wǎng)上記錄的人類(lèi)行為數據進(jìn)行分析。
大數據出現之前,計算機所能夠處理的數據都需要前期進(jìn)行結構化處理,并記錄在相應的數據庫中。
但大數據技術(shù)對于數據的結構的要求大大降低,互聯(lián)網(wǎng)上人們留下的社交信息、地理位置信息、行為習慣信息、偏好信息等各種維度的信息都可以實(shí)時(shí)處理,立體完整地勾勒出每一個(gè)個(gè)體的各種特征。