大數(shù)據(jù)的感知,是了解和運(yùn)用大數(shù)據(jù)的第一步,也可以理解為大數(shù)據(jù)的獲取。
在當(dāng)前大數(shù)據(jù)變革的時(shí)代,移動互聯(lián)網(wǎng)、智能終端、新型傳感器快速滲透到地球的每一個(gè)角落,人人有終端、物物可傳感、處處可上網(wǎng)、時(shí)時(shí)在鏈接,數(shù)據(jù)增長速度用幾何式增長甚至爆發(fā)式增長都很難形容得貼切。有機(jī)構(gòu)預(yù)計(jì),到2020年全球數(shù)據(jù)使用量將達(dá)到約44ZB(1ZB=10萬億億字節(jié)),將涵蓋經(jīng)濟(jì)社會發(fā)展各個(gè)領(lǐng)域。由此產(chǎn)生的革命性影響將重塑生產(chǎn)力發(fā)展模式,重構(gòu)生產(chǎn)關(guān)系組織結(jié)構(gòu),提升產(chǎn)業(yè)效率和管理水平,提高政府治理的精準(zhǔn)性、高效性和預(yù)見性。毋庸置疑,大數(shù)據(jù)將創(chuàng)造下一代互聯(lián)網(wǎng)生態(tài)、下一代創(chuàng)新體系、下一代制造業(yè)形態(tài)以及下一代社會治理結(jié)構(gòu)。

一、大數(shù)據(jù)的認(rèn)識
近年來大數(shù)據(jù)技術(shù)的快速發(fā)展深刻改變了我們的生活、工作和思維方式。大數(shù)據(jù)研究專家舍恩伯格指出,大數(shù)據(jù)時(shí)代,人們對待數(shù)據(jù)的思維方式會發(fā)生如下三個(gè)變化:第一,人們處理的數(shù)據(jù)從樣本數(shù)據(jù)變成全部數(shù)據(jù);第二,由于是全樣本數(shù)據(jù),人們不得不接受數(shù)據(jù)的混雜性,而放棄對精確性的追求;第三,人類通過對大數(shù)據(jù)的處理,放棄對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系。事實(shí)上,大數(shù)據(jù)時(shí)代帶給人們的思維方式的深刻轉(zhuǎn)變遠(yuǎn)不止上述三個(gè)方面。筆者認(rèn)為,大數(shù)據(jù)思維最關(guān)鍵的轉(zhuǎn)變在于從自然思維轉(zhuǎn)向智能思維,使得大數(shù)據(jù)像具有生命力一樣,獲得類似于“人腦”的智能,甚至智慧。
(一)總體思維
社會科學(xué)研究社會現(xiàn)象的總體特征,以往采樣一直是主要數(shù)據(jù)獲取手段,這是人類在無法獲得總體數(shù)據(jù)信息條件下的無奈選擇。在大數(shù)據(jù)時(shí)代,人們可以獲得與分析更多的數(shù)據(jù),甚至是與之相關(guān)的所有數(shù)據(jù),而不再依賴于采樣,從而可以帶來更全面的認(rèn)識,可以更清楚地發(fā)現(xiàn)樣本無法揭示的細(xì)節(jié)信息。如今,技術(shù)環(huán)境已經(jīng)有了很大的改善。在大數(shù)據(jù)時(shí)代進(jìn)行抽樣分析就像是在汽車時(shí)代騎馬一樣。在某些特定的情況下,依然可以使用樣本分析法,但這不再是分析數(shù)據(jù)的主要方式。“也就是說,在大數(shù)據(jù)時(shí)代,隨著數(shù)據(jù)收集、存儲、分析技術(shù)的突破性發(fā)展,人們可以更加方便、快捷、動態(tài)地獲得研究對象有關(guān)的所有數(shù)據(jù),而不再因諸多限制不得不采用樣本研究方法,相應(yīng)地,思維方式也應(yīng)該從樣本思維轉(zhuǎn)向總體思維,從而能夠更加全面、立體、系統(tǒng)地認(rèn)識總體狀況。
(二)容錯(cuò)思維
在小數(shù)據(jù)時(shí)代,由于收集的樣本信息量比較少,所以必須確保記錄下來的數(shù)據(jù)盡量結(jié)構(gòu)化、精確化,否則,分析得出的結(jié)論在推及總體上就會”南轅北轍“,因此,就必須十分注重精確思維。然而,在大數(shù)據(jù)時(shí)代,得益于大數(shù)據(jù)技術(shù)的突破,大量的非結(jié)構(gòu)化、異構(gòu)化的數(shù)據(jù)能夠得到儲存和分析,這一方面提升了從數(shù)據(jù)中獲取知識和洞見的能力,另一方面也對傳統(tǒng)的精確思維造成了挑戰(zhàn)。在大數(shù)據(jù)時(shí)代,思維方式要從精確思維轉(zhuǎn)向容錯(cuò)思維,當(dāng)擁有海量即時(shí)數(shù)據(jù)時(shí),絕對的精準(zhǔn)不再是追求的主要目標(biāo),適當(dāng)忽略微觀層面上的精確度,容許一定程度的錯(cuò)誤與混雜,反而可以在宏觀層面擁有更好的知識和洞察力。
(三)相關(guān)思維
在小數(shù)據(jù)世界中,人們往往執(zhí)著于現(xiàn)象背后的因果關(guān)系,試圖通過有限樣本數(shù)據(jù)來剖析其中的內(nèi)在機(jī)理。小數(shù)據(jù)的另一個(gè)缺陷就是有限的樣本數(shù)據(jù)無法反映出事物之間的普遍性的相關(guān)關(guān)系。而在大數(shù)據(jù)時(shí)代,人們可以通過大數(shù)據(jù)技術(shù)挖掘出事物之間隱蔽的相關(guān)關(guān)系,獲得更多的認(rèn)知與洞見,運(yùn)用這些認(rèn)知與洞見就可以幫助我們捕捉現(xiàn)在和預(yù)測未來,而建立在相關(guān)關(guān)系分析基礎(chǔ)上的預(yù)測正是大數(shù)據(jù)的核心議題。通過關(guān)注線性的相關(guān)關(guān)系,以及復(fù)雜的非線性相關(guān)關(guān)系,可以幫助人們看到很多以前不曾注意的聯(lián)系,還可以掌握以前無法理解的復(fù)雜技術(shù)和社會動態(tài),相關(guān)關(guān)系甚至可以超越因果關(guān)系,成為我們了解這個(gè)世界的更好視角。舍恩伯格指出,大數(shù)據(jù)的出現(xiàn)讓人們放棄了對因果關(guān)系的渴求,轉(zhuǎn)而關(guān)注相關(guān)關(guān)系,人們只需知道”是什么“,而不用知道”為什么“。人們不必非得知道事物或現(xiàn)象背后的復(fù)雜深層原因,而只需要通過大數(shù)據(jù)分析獲知”是什么“就意義非凡,這會給人們提供非常新穎且有價(jià)值的觀點(diǎn)、信息和知識。也就是說,在大數(shù)據(jù)時(shí)代,思維方式要從因果思維轉(zhuǎn)向相關(guān)思維,努力顛覆千百年來人類形成的傳統(tǒng)思維模式和固有偏見,才能更好地分享大數(shù)據(jù)帶來的深刻洞見。
(四)智能思維
不斷提高機(jī)器的自動化、智能化水平始終是人類社會長期不懈努力的方向。計(jì)算機(jī)的出現(xiàn)極大地推動了自動控制、人工智能和機(jī)器學(xué)習(xí)等新技術(shù)的發(fā)展,”機(jī)器人“研發(fā)也取得了突飛猛進(jìn)的成果并開始一定應(yīng)用。應(yīng)該說,自進(jìn)入到信息社會以來,人類社會的自動化、智能化水平已得到明顯提升,但始終面臨瓶頸而無法取得突破性進(jìn)展,機(jī)器的思維方式仍屬于線性、簡單、物理的自然思維,智能水平仍不盡如人意。但是,大數(shù)據(jù)時(shí)代的到來,可以為提升機(jī)器智能帶來契機(jī),因?yàn)榇髷?shù)據(jù)將有效推進(jìn)機(jī)器思維方式由自然思維轉(zhuǎn)向智能思維,這才是大數(shù)據(jù)思維轉(zhuǎn)變的關(guān)鍵所在、核心內(nèi)容。眾所周知,人腦之所以具有智能、智慧,就在于它能夠?qū)χ茉獾臄?shù)據(jù)信息進(jìn)行全面收集、邏輯判斷和歸納總結(jié),獲得有關(guān)事物或現(xiàn)象的認(rèn)識與見解。同樣,在大數(shù)據(jù)時(shí)代,隨著物聯(lián)網(wǎng)、云計(jì)算、社會計(jì)算、可視技術(shù)等的突破發(fā)展,大數(shù)據(jù)系統(tǒng)也能夠自動地搜索所有相關(guān)的數(shù)據(jù)信息,并進(jìn)而類似”人腦“一樣主動、立體、邏輯地分析數(shù)據(jù)、做出判斷、提供洞見,那么,無疑也就具有了類似人類的智能思維能力和預(yù)測未來的能力。”智能、智慧“是大數(shù)據(jù)時(shí)代的顯著特征,大數(shù)據(jù)時(shí)代的思維方式也要求從自然思維轉(zhuǎn)向智能思維,不斷提升機(jī)器或系統(tǒng)的社會計(jì)算能力和智能化水平,從而獲得具有洞察力和新價(jià)值的東西,甚至類似于人類的”智慧“。
大數(shù)據(jù)時(shí)代將帶來深刻的思維轉(zhuǎn)變,大數(shù)據(jù)不僅將改變每個(gè)人的日常生活和工作方式,改變商業(yè)組織和社會組織的運(yùn)行方式,而且將從根本上奠定國家和社會治理的基礎(chǔ)數(shù)據(jù),徹底改變長期以來國家與社會諸多領(lǐng)域存在的”不可治理“狀況,使得國家和社會治理更加透明、有效和智慧,不斷成為企業(yè)、社會和國家層面重要的戰(zhàn)略資源,成為機(jī)構(gòu)的資產(chǎn),成為提升機(jī)構(gòu)和公司競爭力的有力武器。
二、安防大數(shù)據(jù)的獲取
近年來,大數(shù)據(jù)一詞越來越多地被提及與使用,其含義是廣泛的,涉及到各行業(yè)。對安防行業(yè)來說,大數(shù)據(jù)是安防行業(yè)發(fā)展的未來之路,是智能化安防的提綱挈領(lǐng)。然而,大數(shù)據(jù)時(shí)代,如何對海量的數(shù)據(jù)進(jìn)行分析和檢索,成了安防企業(yè)競相研究的課題。誰能掌握大數(shù)據(jù)下的智能分析,將海量數(shù)據(jù)化大為小、化繁為簡,預(yù)先把監(jiān)控行業(yè)網(wǎng)發(fā)展的脈搏,誰就將掌握市場和競爭的主動權(quán)。
在安防領(lǐng)域,大數(shù)據(jù)的來源和獲取以平安城市、智能交通、智慧城市等大型項(xiàng)目的使用為主,由過去單一的系統(tǒng)布防逐漸轉(zhuǎn)變?yōu)榇髷?shù)據(jù)應(yīng)用分析的綜合智能系統(tǒng)。”海量“和”非結(jié)構(gòu)化“。這兩個(gè)特點(diǎn)在視頻監(jiān)控行業(yè)尤為突出,如何在”海量“和”非結(jié)構(gòu)化“的監(jiān)控視頻數(shù)據(jù)中快速找到對人們有用的信息變的尤為重要。
平安城市是一個(gè)特大型的管理系統(tǒng),綜合性強(qiáng)。它的建設(shè)目標(biāo)是滿足治安管理、城市管理、交通管理、應(yīng)急指揮等需求,往往還要兼顧災(zāi)難事故預(yù)警、安全生產(chǎn)監(jiān)控等方面對圖像監(jiān)控的需求,并考慮報(bào)警、門禁等配套系統(tǒng)的集成以及與廣播系統(tǒng)的聯(lián)動。所以,平安城市注定將是一個(gè)大的數(shù)據(jù)集合體,對它的精準(zhǔn)分析和高效利用也就至關(guān)重要。而從具體行業(yè)來看,從”事后查看“到”事前預(yù)警“,多年來一直是公安、交通等各重點(diǎn)行業(yè)用戶的迫切需求,但長期以來,視頻的清晰度以及各項(xiàng)基礎(chǔ)、分析技術(shù)的發(fā)展都無法滿足現(xiàn)實(shí)的需求。而隨著高清技術(shù)的應(yīng)用以及IT架構(gòu)、分析技術(shù)的快速發(fā)展,依靠大數(shù)據(jù)分析技術(shù),能從大量非結(jié)構(gòu)化的視頻數(shù)據(jù)中提取出有價(jià)值的信息,從而使”事前預(yù)警“成為現(xiàn)實(shí)。