數(shù)據(jù)中臺項目建設(shè)方案.數(shù)據(jù)中臺的建設(shè)能夠把企業(yè)海量的死/活數(shù)據(jù)變成資產(chǎn)并有效利用，使數(shù)據(jù)持續(xù)地服務(wù)于業(yè)務(wù)，實現(xiàn)春風(fēng)化雨、潤物無聲的目標(biāo)
數(shù)據(jù)中臺的建設(shè)能夠把企業(yè)海量的死/活數(shù)據(jù)變成資產(chǎn)并有效利用，使數(shù)據(jù)持續(xù)地服務(wù)于業(yè)務(wù)，實現(xiàn)春風(fēng)化雨、潤物無聲的目標(biāo)
探碼數(shù)據(jù)中臺方法論
方案概述
客戶對象： 垂直門戶平臺，行業(yè)營銷中心，數(shù)據(jù)信息化部門
典型描述：客戶作為專業(yè)的行業(yè)門戶平臺，為商業(yè)用戶提供及時、全面、準(zhǔn)確、權(quán)威的行業(yè)新聞、產(chǎn)品、設(shè)計、應(yīng)用和市場信息，同時也為產(chǎn)品的最終消費者提供集交易 、生活 、娛樂于一體的綜合服務(wù)，是上下游企業(yè)推廣商務(wù)應(yīng)用、產(chǎn)品及方案、進行市場調(diào)查、提升品牌形象的專業(yè)首選平臺。
解決目標(biāo)： 探碼科技結(jié)合客戶在垂直行業(yè)領(lǐng)域的深刻理解及沉淀，利用技術(shù)手段，設(shè)計出一款能夠解決客戶當(dāng)前在內(nèi)部各部門數(shù)據(jù)孤立、數(shù)據(jù)清理工作困難、數(shù)據(jù)分析能力薄弱的問題，降低服務(wù)成本，提升服務(wù)效率。
項目需求
需要貴公司提供的完整的數(shù)據(jù)應(yīng)用服務(wù)，涵蓋企業(yè)數(shù)據(jù)管理全流程：數(shù)據(jù)采集、數(shù)據(jù)清理、數(shù)據(jù)存儲、數(shù)據(jù)計算框架、數(shù)據(jù)分析報表輸出、管理儀表盤等可視化應(yīng)用、數(shù)據(jù)挖掘模型設(shè)計開發(fā)與維護等，幫助企業(yè)建立“以數(shù)據(jù)還原歷史，以數(shù)據(jù)管理現(xiàn)在，以數(shù)據(jù)預(yù)測未來”的數(shù)據(jù)驅(qū)動機制，提高企業(yè)運營效率和效能、市場快速響應(yīng)能力和產(chǎn)品開發(fā)能力，提高投入產(chǎn)出比。
項目需求
解決方案
這是一個通用的大數(shù)據(jù)平臺項目：首先部署一套大數(shù)據(jù)平臺，幫助收集、歸納、整理數(shù)據(jù)。把數(shù)據(jù)集中以后，基于一個統(tǒng)一的分析平臺，數(shù)據(jù)工程師可以去分析它，商業(yè)智能實驗， 得到一些決策信息（這里如果是有用的決策信息，那么就可以反推給企業(yè)帶來了什么收益，也有可能得到一些無用的決策洞察）。
數(shù)據(jù)中臺
探碼數(shù)據(jù)中臺-圍繞著大數(shù)據(jù)開發(fā)、大數(shù)據(jù)應(yīng)用兩個核心階段展開為用戶搭建了一個強大的數(shù)據(jù)清洗、存儲、分析的平臺。支持多元異構(gòu)數(shù)據(jù)的存儲，支持不同字符的數(shù)據(jù)集成。強大的模型算法支持數(shù)據(jù)的實時多維分析，并且根據(jù)檢索的元素生成對應(yīng)的數(shù)據(jù)畫像，支持營銷決策。通過有形的產(chǎn)品支撐和實施方法論，解決企業(yè)面臨的數(shù)據(jù)孤島、數(shù)據(jù)維護混亂、數(shù)據(jù)價值利用低的問題。
探碼科技基于云計算研發(fā)的探碼Web大數(shù)據(jù)集成系統(tǒng)，利用眾多的云計算服務(wù)器協(xié)同工作，能快速采集大量的多源異構(gòu)數(shù)據(jù)，從而解決了客戶內(nèi)部數(shù)據(jù)零散，且數(shù)據(jù)清洗繁瑣的問題。數(shù)據(jù)整合分為7個子系統(tǒng)，分別為大數(shù)據(jù)集群系統(tǒng)、數(shù)據(jù)調(diào)研、數(shù)據(jù)清洗、數(shù)據(jù)合并、任務(wù)調(diào)度、搜索引擎系統(tǒng)、數(shù)據(jù)分析。
- 大數(shù)據(jù)集群系統(tǒng)：本系統(tǒng)可以儲存TB級數(shù)據(jù)，實現(xiàn)數(shù)據(jù)持久化。數(shù)據(jù)存儲采用MongoDB集群方案。
- 數(shù)據(jù)源調(diào)研：本系統(tǒng)是在“數(shù)據(jù)集成系統(tǒng)”開始之前，必不可少的一個環(huán)節(jié)，經(jīng)過調(diào)研，得出客戶內(nèi)部需要集成的數(shù)據(jù)、過濾的關(guān)鍵字、需要提取的內(nèi)容等。
- 數(shù)據(jù)清洗系統(tǒng)：通過Web前端展示出集合的數(shù)據(jù)，對數(shù)據(jù)進行直觀分析，得出哪些條件的數(shù)據(jù)需要刪除，哪些條件的數(shù)據(jù)需要修改。我們把這種模式記錄在程序里，將來的數(shù)據(jù)只要匹配這種模式，數(shù)據(jù)將來會被自動清洗，不再需要人工清洗。
- 數(shù)據(jù)合并系統(tǒng)：本系統(tǒng)通過微服務(wù)技術(shù)框架，實現(xiàn)Web前端展示，對數(shù)據(jù)進行合并。數(shù)據(jù)被清洗之后，數(shù)據(jù)合并系統(tǒng)會自動匹配大數(shù)據(jù)集群中的數(shù)據(jù)，通過相識度評分，關(guān)聯(lián)可能相識的數(shù)據(jù)。通過Web前端展示匹配結(jié)果，可以人工或自動合并數(shù)據(jù)。
- 任務(wù)調(diào)度系統(tǒng)：本系統(tǒng)通過Sidekiq隊列調(diào)度，Redis調(diào)度數(shù)據(jù)持久化，實現(xiàn)Web前端任務(wù)調(diào)度系統(tǒng)。通過任務(wù)調(diào)度系統(tǒng)，可以動態(tài)開啟、關(guān)閉，定時啟動數(shù)據(jù)整合的程序。
- 搜索引擎系統(tǒng)：本系統(tǒng)通過ElasticSearch集群，實現(xiàn)搜索引擎服務(wù)。搜索引擎是PC端檢索系統(tǒng)能夠從大數(shù)據(jù)集群中、快速地檢索數(shù)據(jù)的必要工具。
- 數(shù)據(jù)分析：數(shù)據(jù)分析處理中心含概了二大核心功能：一種是用于構(gòu)建數(shù)據(jù)流程，另一種是用于在整個組織中共享和管理流程的。
總結(jié)
在數(shù)字化轉(zhuǎn)型的關(guān)鍵時期，以客戶為中心的理念將會持續(xù)地影響企業(yè)的商業(yè)決策，而以數(shù)據(jù)中臺為核心的洞察系統(tǒng)，將會通過建立數(shù)據(jù)技術(shù)、數(shù)據(jù)體系和數(shù)據(jù)服務(wù)的全流程平臺，驅(qū)動企業(yè)穩(wěn)健行動，并且支持大規(guī)模商業(yè)模式創(chuàng)新，幫助企業(yè)構(gòu)筑堅實壁壘以保持持續(xù)領(lǐng)先的競爭優(yōu)勢。