一、大數(shù)據(jù)的定義

大數(shù)據(jù)的定義：對(duì)于大數(shù)據(jù)，Gartner 給出的定義是需要運(yùn)用新處理模式才能具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流程優(yōu)化能力的海量、高增長(zhǎng)率和多樣化的信息資產(chǎn)。

大數(shù)據(jù)的5V特點(diǎn)：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價(jià)值密度）、Veracity（真實(shí)性）

二、大數(shù)據(jù)的發(fā)展歷程

1983年，著名未來學(xué)家阿爾文·托夫勒在其著作《第三次浪潮》中，將“大數(shù)據(jù)” 描繪為“第三次浪潮的華彩樂章”。

2003 年《The Google File System》、2004 年《MapReduce: Simplified Data Processing on Large Clusters 》、2006 年《Bigtable: A Distributed Storage System for Structured Data》谷歌大數(shù)據(jù)三大論文發(fā)布，以及 2005 年 Hadoop 項(xiàng)目的誕生，使得大規(guī)模處理結(jié)構(gòu)化、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)1的廉價(jià)方案成為可能，為大數(shù)據(jù)產(chǎn)業(yè)的快速普及創(chuàng)造了基礎(chǔ)條件。

2008 年，大數(shù)據(jù)得到部分美國(guó)知名計(jì)算機(jī)研究人員認(rèn)可。業(yè)界組織計(jì)算社區(qū)聯(lián)盟（Computing Community Consortium）發(fā)表白皮書《大數(shù)據(jù)計(jì)算：在商務(wù)、科學(xué)和社會(huì)領(lǐng)域創(chuàng)建革命性突破》，詳盡闡述了大數(shù)據(jù)對(duì)社會(huì)治理的推動(dòng)作用，及其潛在的商業(yè)價(jià)值。大數(shù)據(jù)正式進(jìn)入世界最具有價(jià)值和影響的技術(shù)行列。

2009 年，美國(guó)政府為構(gòu)建開放、透明機(jī)制，啟動(dòng) Data.gov 網(wǎng)站向公眾開放多種政府?dāng)?shù)據(jù)，包括交通、經(jīng)濟(jì)、醫(yī)療、教育和人口服務(wù)等。2012 年，Data.gov 已累積來自 172 個(gè)政府機(jī)構(gòu)的數(shù)據(jù)集，數(shù)量從2009年的47個(gè)暴增至40萬個(gè)以上，催化美國(guó)政府推出相關(guān)政策，加速大數(shù)據(jù)技術(shù)發(fā)展。

大數(shù)據(jù)產(chǎn)業(yè)迎來其發(fā)展的大時(shí)代

三、為什么要研究大數(shù)據(jù)

大數(shù)據(jù)精準(zhǔn)營(yíng)銷：2015 年，亞馬遜市值第一次超越沃爾瑪，當(dāng)前前者市值更是后者的三倍多，而亞馬遜銷售額中有 1/3 是依托大數(shù)據(jù)精準(zhǔn)營(yíng)銷產(chǎn)生。通過記錄顧客瀏覽網(wǎng)站時(shí)的行為數(shù)據(jù)，如所搜關(guān)鍵詞、到訪頁(yè)面、關(guān)注商品、購(gòu)買訂單，以及不定期舉行活動(dòng)引導(dǎo)客戶明確喜好，如主題投票，亞馬遜搜集并分析客戶屬性、興趣、需求，利用聚類等大數(shù)據(jù)模型為客戶群體推薦合適商品。

大數(shù)據(jù)提供更加優(yōu)化的服務(wù)方案：以色列的環(huán)境比中國(guó)大西北更惡劣，但將大數(shù)據(jù)引入農(nóng)業(yè)后，以色列成為了“歐洲的廚房”。憑借較高的信息化和數(shù)字化基礎(chǔ)，以色列農(nóng)業(yè)技術(shù)公司利用大數(shù)據(jù)幫助農(nóng)民根據(jù)農(nóng)場(chǎng)的具體情況采用更加個(gè)性化的耕種方案。如 Taranis 公司利用大數(shù)據(jù)分析法推出包括預(yù)測(cè)天氣、灌溉和病蟲害狀植物模型技術(shù)，指導(dǎo)農(nóng)民合理灌溉、殺蟲；AKOL 公司更是將不同區(qū)域農(nóng)民工作習(xí)慣等人為因素納入農(nóng)作物生長(zhǎng)及環(huán)境狀況的大數(shù)據(jù)分析范疇，進(jìn)一步優(yōu)化方案。

大數(shù)據(jù)幫助金州勇士隊(duì)實(shí)現(xiàn)質(zhì)的飛躍：在體育界，植入科技和大數(shù)據(jù)之后，美國(guó)金州勇士隊(duì)在短短幾年內(nèi)就實(shí)現(xiàn)了從一個(gè)“爛”球隊(duì)到NBA 總冠軍的飛躍。勇士隊(duì)老板拉科布作為數(shù)據(jù)分析的堅(jiān)實(shí)擁躉，把數(shù)據(jù)分析思想充分融入到球隊(duì)的訓(xùn)練之中，最先引入球館錄像和分析系統(tǒng)，同時(shí)其團(tuán)隊(duì)統(tǒng)計(jì)歷年NBA 比賽，發(fā)現(xiàn)最有效的進(jìn)攻是眼花繚亂的傳球和準(zhǔn)確的投籃，并創(chuàng)造了三分球新打法，助力勇士隊(duì)快速成長(zhǎng)。

大數(shù)據(jù)的價(jià)值不可估量：正如《大數(shù)據(jù)時(shí)代》所言，大數(shù)據(jù)開啟了一場(chǎng)重大的時(shí)代轉(zhuǎn)型，就像望遠(yuǎn)鏡讓我們感受到宇宙，顯微鏡讓我們能夠觀測(cè)微生物，大數(shù)據(jù)收集、分析海量數(shù)據(jù)幫助我們更好地理解世界，是眾多新發(fā)明和新服務(wù)的源泉。如今，數(shù)據(jù)已經(jīng)成為重要的商業(yè)資本，可以作為前期投入創(chuàng)造實(shí)際經(jīng)濟(jì)價(jià)值，此外，大數(shù)據(jù)也撼動(dòng)著醫(yī)療、教育、人文、社交等世界的方方面面……其社會(huì)價(jià)值亦不可估量。

四、大數(shù)據(jù)發(fā)展的基礎(chǔ)

一、數(shù)據(jù)積累

在互聯(lián)網(wǎng)快速普及、物聯(lián)網(wǎng)加速滲透的背景下，PC、手機(jī)、傳感設(shè)備等全面興起，推動(dòng)全球數(shù)據(jù)呈現(xiàn)倍數(shù)增長(zhǎng)、海量集聚的特點(diǎn)，為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展奠定了龐大的數(shù)據(jù)基礎(chǔ)。根據(jù)IDC統(tǒng)計(jì)，2011年全球創(chuàng)建和復(fù)制的數(shù)據(jù)總量為1.8ZB，2016 年這一規(guī)模為16.1ZB，預(yù)計(jì)2020年將達(dá)到44ZB，在其《數(shù)據(jù)時(shí)代2025》白皮書（希捷贊助）中，更是預(yù)測(cè)到2025年，全球創(chuàng)建和復(fù)制的數(shù)據(jù)總量將擴(kuò)展至163ZB（1ZB 等于1萬億GB）。

二、算力提升

同時(shí)，處理如此規(guī)模的數(shù)據(jù)量也對(duì)算力提出了巨大的挑戰(zhàn)。所幸，摩爾定律推動(dòng)處理器性能不斷提升，GPU、FPGA、TPU 等高算力芯片不斷涌現(xiàn)，為大數(shù)據(jù)產(chǎn)業(yè)發(fā)展保障了迅速的處理能力。在Google I/0 2018 開發(fā)者大會(huì)上，谷歌發(fā)布了第三代 TPU處理器，基于TPU 3.0 的新運(yùn)算陣列 TPUv3 Pod 性能相比TPUv2 Pod 有8 倍提升，運(yùn)算速度可超100PFlops（PFlops：每秒千萬億次浮點(diǎn)計(jì)算）。