適用于多源數據采集，需要 定制化開發 的大規模網絡數據采集系統。提供從數據采集，爬蟲撰寫，任務調度，數據清洗合并到數據存儲一站式服務。

金融科技

金融是大數據人工智能技術落地的關鍵領域，Dyson在金融科技、金融風控、創業投資等領域，利用自主研發的大數據與人工智能技術不斷助力企業轉型升級，幫助金融企業降本增效、提升服務水平和客戶體驗。

• 案例：投融資并購交易大數據平臺

• 案例：科技數據統計分析平臺

• 案例：市區縣文化云大數據平臺

政府科技

由于互聯網產生的信息泛濫，研究人員很難快速評估一個事件的真實情況。采用分布式網絡數據采集系統為某省實現企業庫、政策庫、項目庫，從而實現數據統計分析監管監測。

• 案例：網絡信息監測與決策分析平臺

• 案例：食品藥品監管信息大數據平臺

• 案例：肉桂產業大數據平臺

專項定制

通過建設產業大數據采集監測平臺，AG輿情資訊平臺，使產業大數據及企業大數據應用高效、便捷地為不同授權用戶提供實時、有效、真實、準確地產業及企業信息數據平臺。

• 案例：500強集團企業輿情資訊平臺

• 案例：律師行業大數據平臺

• 案例：美國醫療大數據平臺

Dyson智能采集系統專業針對互聯網數據抓取、處理、分析，挖掘。

海量

利用計算機群集的存儲和計算能力。它不僅在性能上有所擴展，而且其處理傳入的大量數據流的能力也相應提高。

實時

用戶可以從任何的網站上獲取任何數據，無論是靜態的還是動態的頁面，獲取數據都變得十分輕松便捷。

全流程

Dyson提供全流程定制化采集服務，從數據源獲取到數據輸出。并提供必要的數據治理、清洗、合并、分析。

Dyson 采集流程

• 數據源分析 & 元數據構建 通對既有數據源進行分類整理、欄目劃分、字段拆解，形成一個完整的數據源分析報告，以及對采集到的信息數據進行智能分析最終通過數據源的分析，發現數據之間的關系、規律和取值范圍，為數據采用任務做準備。

• 編寫爬蟲 & 任務調度 采用Docker微服務模式掛載每個采集爬蟲程序，通過實時任務調度系統對微服務進行任務調度，實時數據采集，實時錯誤監控。

• 數據清洗 & 數據導出 編寫數據清洗正則，對多源異構數據進行清洗和合并操作，將采集的數據打包導出或者API形式對接到業務平臺。

方案存檔