早在《大數(shù)據(jù)時代》（維克托·邁爾·舍恩伯格，浙江人民出版社，ISBN 9787213052545）的論述中就提到，只有占大數(shù)據(jù)95%的非結(jié)構(gòu)化數(shù)據(jù)被利用起來，我們才能打開一扇從未涉足的世界的窗戶。
當前商業(yè)場景已經(jīng)從傳統(tǒng)的互聯(lián)網(wǎng)模式發(fā)展到場景化、內(nèi)容化的新階段，直播帶貨、短視頻營銷、社群營銷、私域運營等營銷和運營方式快速發(fā)展。新的商業(yè)場景對視頻、圖片、音頻等非結(jié)構(gòu)化數(shù)據(jù)的依賴越來越大。進入AIGC時代，內(nèi)容生產(chǎn)日益加速，非結(jié)構(gòu)化數(shù)據(jù)呈指數(shù)級增長，非結(jié)構(gòu)化數(shù)據(jù)在大數(shù)據(jù)中所占的比重越來越高。
2024年是數(shù)據(jù)資產(chǎn)元年，數(shù)據(jù)已經(jīng)從推動社會發(fā)展的基礎(chǔ)性資源發(fā)展成為社會和企業(yè)重要的資產(chǎn)。非結(jié)構(gòu)化數(shù)據(jù)資源的體系化管理，通過開發(fā)和治理形成資產(chǎn)并賦能業(yè)務(wù)，是企業(yè)面臨的重要任務(wù)。
當前大數(shù)據(jù)發(fā)展到了這樣的階段： 數(shù)據(jù)形態(tài)向著非結(jié)構(gòu)化方向發(fā)展；數(shù)據(jù)生成方式向著AIGC發(fā)展；商業(yè)運營模式向著場景化、內(nèi)容化發(fā)展；數(shù)據(jù)價值向著資產(chǎn)化、市場化和資本化方向發(fā)展。
非結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)（Unstructured Data），是指沒有預(yù)定義的格式，不能用傳統(tǒng)的關(guān)系型數(shù)據(jù)庫來存儲的數(shù)據(jù)。非結(jié)構(gòu)化數(shù)據(jù)包括任何形式的文本、圖像、音頻、視頻、電子郵件、社交媒體帖子等。的價值釋放，是當前數(shù)據(jù)領(lǐng)域乃至當前時代亟須解決的問題。
然而，當前的數(shù)據(jù)倉庫、數(shù)據(jù)湖倉等技術(shù)體系不能系統(tǒng)性地對非結(jié)構(gòu)化數(shù)據(jù)進行資產(chǎn)化管理，無法充分釋放非結(jié)構(gòu)化數(shù)據(jù)價值。目前的技術(shù)路線基本是采用從視頻、圖片等非結(jié)構(gòu)化數(shù)據(jù)提取信息，將其轉(zhuǎn)化為結(jié)構(gòu)數(shù)據(jù)的方式進行分析。
直接轉(zhuǎn)化成結(jié)構(gòu)化數(shù)據(jù)的方式，破壞了非結(jié)構(gòu)數(shù)據(jù)的語義邏輯，損害了數(shù)據(jù)內(nèi)部的上下文關(guān)系，損失了數(shù)據(jù)的價值內(nèi)含；容易產(chǎn)生歧義，造成數(shù)據(jù)的錯誤；無法對數(shù)據(jù)進行有效組織、實現(xiàn)數(shù)據(jù)互通并實現(xiàn)知識生成和價值創(chuàng)造；沒有完整落地非結(jié)構(gòu)化數(shù)據(jù)語義內(nèi)容形成數(shù)據(jù)資產(chǎn)，無法發(fā)揮數(shù)據(jù)體系的體系化數(shù)據(jù)資產(chǎn)管理，一次開發(fā)、重復使用等系統(tǒng)優(yōu)勢。
人們構(gòu)建各種數(shù)據(jù)體系，研究出各種數(shù)據(jù)技術(shù)，最終目的是為了挖掘獲取數(shù)據(jù)的價值，我們需要的是數(shù)據(jù)中蘊含的價值，而不是數(shù)據(jù)本身。這些價值就存在于語義之中。結(jié)構(gòu)化數(shù)據(jù)借助關(guān)系型的結(jié)構(gòu)模型來表達語義；非結(jié)構(gòu)化數(shù)據(jù)通過其豐富的描述能力來表達語義。
哲學思想告訴我們語言即世界，語言在描述世界；在計算機和人工智能科學中，數(shù)據(jù)的定義是對世界事物和事實的記錄。語言和數(shù)據(jù)都通過語義來描述世界，在計算機和人工智能科學中，語言文字是一種數(shù)據(jù)形態(tài)。
人類智能和機器智能在語義空間相匯，用技術(shù)的語言表達： 人工智能技術(shù)在神經(jīng)網(wǎng)絡(luò)的向量空間中，解讀了語言符號之間的關(guān)系。這也是大模型智能的來源。
結(jié)合我們在數(shù)據(jù)領(lǐng)域的經(jīng)驗，以語義化為思想、文本化為手段，構(gòu)建全域全形態(tài)的企業(yè)級數(shù)據(jù)體系，是底層的需求，是營銷和運營發(fā)展到新商業(yè)階段對非結(jié)構(gòu)化大數(shù)據(jù)的需要。而以大模型為標志的人工智能技術(shù)，到了能夠解讀這些非結(jié)構(gòu)大數(shù)據(jù)的階段。為了獲取數(shù)據(jù)價值，我們可以跳出數(shù)據(jù)形態(tài)的制約，在數(shù)據(jù)形態(tài)的上層語義層，構(gòu)建數(shù)據(jù)體系，我們稱這個數(shù)據(jù)體系為數(shù)智平臺。
內(nèi)容導讀
在本書提出的構(gòu)建數(shù)智平臺的方法論中，把論述重點放在了對非結(jié)構(gòu)化數(shù)據(jù)的價值挖掘上，從而構(gòu)建全域全形態(tài)數(shù)智平臺。
全域： 是指結(jié)合了結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)，使數(shù)據(jù)體系能夠覆蓋業(yè)務(wù)運營的全流程，也就是說數(shù)據(jù)的主題域更完整。例如，能夠?qū)⒁曨l營銷、直播運營等新商業(yè)場景的業(yè)務(wù)活動，也包含在數(shù)據(jù)主題域之中。
全形態(tài)： 是指在數(shù)智平臺中，視頻、音頻、圖片、文本等非結(jié)構(gòu)化數(shù)據(jù)能被完全解讀，非結(jié)構(gòu)化數(shù)據(jù)的語義被數(shù)據(jù)化和資產(chǎn)化，非結(jié)構(gòu)化數(shù)據(jù)和結(jié)構(gòu)化數(shù)據(jù)共同構(gòu)成數(shù)智平臺的數(shù)據(jù)體系。
書中采用了很多與傳統(tǒng)數(shù)據(jù)技術(shù)不同的技術(shù)思想，如語義化的思想、解讀式的數(shù)據(jù)處理、大模型數(shù)據(jù)分析、生成式ETL、全域邏輯視圖、雙輪驅(qū)動的數(shù)據(jù)體系等，請讀者重點理解采用這些技術(shù)方式的理念和方法。
本書主要介紹構(gòu)建智能時代數(shù)據(jù)體系的思想和方法論，因此在理念和理論上給予了相對較多的篇幅，思維打開，方案自來。當前，基礎(chǔ)的大數(shù)據(jù)技術(shù)已經(jīng)相對成熟，同時大模型的能力正在日益強大。按照本書介紹的思想和方法論，架構(gòu)師能夠根據(jù)企業(yè)的實際情況規(guī)劃設(shè)計出更加適合企業(yè)自身的技術(shù)方案。
我們希望處于不同階段的企業(yè)、更加廣泛的人群都能夠從書中有所收獲。技術(shù)人員和非技術(shù)人員都可以從第一篇和第二篇中了解智能時代數(shù)據(jù)體系的構(gòu)建思想、數(shù)智融合的原理。在第三篇中，我們結(jié)合過往經(jīng)驗給出了數(shù)智平臺的構(gòu)建方法，供CDO、CTO、CIO和數(shù)據(jù)架構(gòu)師等在做相關(guān)規(guī)劃時參考。第四篇介紹了在當前商業(yè)場景下，全域全形態(tài)的數(shù)智平臺在企業(yè)的業(yè)務(wù)活動中能夠提供的賦能支持，以及數(shù)智平臺對企業(yè)數(shù)智化轉(zhuǎn)型的價值，希望對企業(yè)負責人、企業(yè)高管和業(yè)務(wù)人員在營銷和運營等業(yè)務(wù)活動中有所幫助。
致謝
首先感謝和我一起編寫這本書的龔雪菲和孫踐偉兩位伙伴。我們緊密合作，一起度過了這段充實的時光。在編寫的過程中，我們還一起交流生活、探討科技的未來，這是一段令人難忘的美好經(jīng)歷。
感謝我的好友楊嵩、張磊、董淑潔和郭煒，他們具有二十余年數(shù)據(jù)領(lǐng)域的豐富經(jīng)驗，參與了本書的策劃、討論等很多具體的工作。
楊嵩，前埃森哲董事總經(jīng)理，大數(shù)據(jù)與云計算負責人。
張磊，前Teradata、SAS首席數(shù)據(jù)科學家。
董淑潔，前Teradata、埃森哲技術(shù)顧問；德勤（加拿大）財務(wù)計劃與分析總監(jiān)。
郭煒，ClickHouse華人社區(qū)創(chuàng)始人、白鯨開源CEO。
感謝王可、劉佳、宗彥旭，他們?yōu)楸緯�提出了寶貴的意見。
王可，泰康人壽資深數(shù)據(jù)架構(gòu)專家。
劉佳，貝殼找房大數(shù)據(jù)中心負責人。
宗彥旭，澳門科技大學人工智能專業(yè)學生。

宗東東2025年3月