在數(shù)據(jù)急速膨脹的今天，金融財經(jīng)行業(yè)面臨大數(shù)據(jù)的諸多挑戰(zhàn)，例如數(shù)據(jù)應(yīng)用深度不斷加強，數(shù)據(jù)分析技術(shù)更新頻率加快，數(shù)據(jù)類型不斷增多等。基于業(yè)務(wù)和政策需求，數(shù)據(jù)的收集、整理、傳輸、分析和發(fā)布是一個連續(xù)而復(fù)雜的過程，不同表現(xiàn)方式的數(shù)據(jù)在不同部門、企業(yè)甚至國家之間傳遞，經(jīng)常會遇到傳遞摩擦和數(shù)據(jù)孤島問題，數(shù)據(jù)的傳輸和共享效率面臨前所未有的挑戰(zhàn)，統(tǒng)一的數(shù)據(jù)格式和規(guī)定是解決這些問題的一個重要渠道，也是迫切的需求。

基于金融股票財經(jīng)行業(yè)的一些問題聚集，探碼研發(fā)了WEB大數(shù)據(jù)采集系統(tǒng)，這套系統(tǒng)主要解決的問題有八個層面：大數(shù)據(jù)集群、數(shù)據(jù)采集、采集數(shù)據(jù)源調(diào)研、數(shù)據(jù)爬蟲、數(shù)據(jù)清洗、數(shù)據(jù)合并、任務(wù)調(diào)度、搜索引擎優(yōu)化。這套系統(tǒng)基于云計算研發(fā)的，利用眾多的云計算服務(wù)器協(xié)同工 作，能快速采集大量數(shù)據(jù)，避免了一臺計算機硬件資源的瓶頸，另外隨著行業(yè)之間對數(shù)據(jù)采集的要求越來越高，傳統(tǒng)post采集不能解決的技術(shù)問題也逐步被解決，以探碼Kapow/Dyson采集器為代表的新一代智能采集器，能模擬人的思維，模擬人的操作，從而徹底解決了IP封禁、Ajax等技術(shù)難題。

技術(shù)要應(yīng)用在場景之中，探碼WEB大數(shù)據(jù)采集系統(tǒng)主要用于金融、股票、財經(jīng)等領(lǐng)域，提供的是完整設(shè)計和方案，定制化產(chǎn)品輸出，幫助金融財經(jīng)行業(yè)搭建具備可成長性的大數(shù)據(jù)系統(tǒng)。根據(jù)各行業(yè)的需求可將整體分為多個模塊多種形式進行可視化。其主要的步驟：

1. 從目標Web文檔中獲得待采集信息；
2. 判斷待采集信息類型是否是所需數(shù)據(jù)，
3. 剔除無用的、重復(fù)的信息數(shù)據(jù)，按照所需信息數(shù)據(jù)進行過濾校驗；
4. 保存所需數(shù)據(jù)。

金融股票財經(jīng)行業(yè)搭建大數(shù)據(jù)采集系統(tǒng)的五大流程：

1、構(gòu)建服務(wù)器的大數(shù)據(jù)集群系統(tǒng)

在做數(shù)據(jù)采集之前，服務(wù)器搭建是必不可少的一步，探碼WEB大數(shù)據(jù)系統(tǒng)采用國內(nèi)外分布式服務(wù)器管理，可以儲存TB級采集到的數(shù)據(jù)，實現(xiàn)數(shù)據(jù)持久化，避免在采集過程當(dāng)中數(shù)據(jù)被屏蔽。

??

2、采集數(shù)據(jù)源調(diào)研

在行業(yè)實現(xiàn)海量數(shù)據(jù)信息采集之前，數(shù)據(jù)源是必不可少的一個環(huán)節(jié)，經(jīng)過調(diào)研，得出需要采集頁面、過濾的關(guān)鍵字、需要提取的內(nèi)容等。以下是羅列的一些數(shù)據(jù)源清單：

http://www.techweb.com.cn/roll/
http://www.miit.gov.cn/
http://www.100ppi.com/kx/
https://www.fert.cn/1001/
http://www.tmtpost.com/nictation
http://www.ndrc.gov.cn/
http://www.cctime.com/list/5070.htm
http://36kr.com/newsflashes
http://data.tsci.com.cn/News/Default.aspx?Kind=All&P=0
http://www.p5w.net/kuaixun/tj/?COLLCC=3331028898&
http://roll.tech.sina.com.cn/s/channel.php
https://new.qq.com/ch/ori/
http://irm.cninfo.com.cn/ircs/sse/sseSubIndex.do
http://sns.sseinfo.com/qa.do
http://www.ebrun.com/top/
http://district.ce.cn/newarea/roll/index.shtml
http://www.chinanews.com/scroll-news/news1.html
http://roll.cnr.cn/
http://tech.163.com/
http://roll.finance.qq.com/
http://news.cecb2b.com/roll/#size=20&page=1
https://www.yicai.com/brief/
http://news.21cn.com/domestic/yaowen/
http://www.mydrivers.com/
http://it.sohu.com/scroll/
http://roll.caijing.com.cn/?source=114
http://www.ebrun.com/top/
https://www.thepaper.cn/
https://www.jiemian.com/lists/4.html
http://news.people.com.cn/
http://www.ofweek.com/CATList-8100-CHANGYIEXINWE.html
http://www.ofweek.com/CATListNew-41000-74003.html
http://www.ofweek.com/CATListNew-25000-10000.html
http://www.ofweek.com/CATListNew-25000-74006.html
http://www.caixin.com/search/scroll/0.jsp?date=
https://www.ithome.com/list/
http://www.100ppi.com/kx/
http://www.cankaoxiaoxi.com/roll/
http://www.gg-lb.com/news/
http://www.gg-lb.com/news_more2-6df15ea6--9ad85de562a59053-1.html
http://news.gg-lb.com/
http://laoyaoba.com/ss6/?action-category-catid-2
http://www.sasac.gov.cn/n2588025/index.html
http://www.baiinfo.com/Orders/NewsList/6993?pageid=1
http://www.stdaily.com/index/gundongxinwen/gundongxinwen.shtml
https://www.jinse.com/lives
https://www.shgzw.gov.cn/website/html/shgzw/shgzw_xwzx_gzyw/List/list_0.htm
http://www.ailab.cn/
https://voice.itjuzi.com/
https://www.leiphone.com/
https://t.qianzhan.com/
http://www.sootoo.com/
http://www.beijing.gov.cn/
http://www.fmprc.gov.cn/web/wjbz_673089/zyhd_673091/
http://www.news.cn/politics/gd.htm
http://live.nbd.com.cn/
http://www.ccin.com.cn/ccin/news/2018/07/17/381498.shtml
http://www.chem.hc360.com/
http://www.bitecoin.com/
http://www.cementren.com/news/list_294.html
http://www.c114.com.cn/news/roll.asp
http://www.ccement.com/news/
http://www.caixin.com/search/scroll/0.jsp?date=
http://www.mofcom.gov.cn/article/resume/n/
http://www.cctime.com/list/5070.htm
http://www.molychina.com/Home/Market/lists/cid/39.html
http://www.molychina.com/Home/Article/lists/cid/3.html
http://www.molychina.com/Home/Market/lists/cid/40.html
http://www.stdaily.com/index/gundongxinwen/gundongxinwen.shtml
http://www.nbd.com.cn/columns/3
https://news.china.com/
https://news.china.com/news100/index.html
http://news.cri.cn/roll
http://www.dcement.com/Article/
http://news.cecb2b.com/jdxw/
http://politics.gmw.cn/node_9831.htm
http://www.techweb.com.cn/finance/41.shtml#wp
http://news.zol.com.cn/list.html
http://www.lieyunwang.com/news
http://www.lieyunwang.com/archives
https://it.ithome.com/
https://news.feng.com/
http://www.cninfo.com.cn/search/search.jsp
http://www.askci.com/
https://www.okcoin.cn/tcat-3-301.html
http://news.ddc.net.cn/newslist_qiye.html
http://news.ddc.net.cn/
http://auto.gasgoo.com/auto-news
http://www.metalnews.cn/oil/
http://www.chem17.com/news/
http://news.chinawutong.com/
https://t.qianzhan.com/
https://www.bestb2b.com/news.htm
http://auto.gasgoo.com/nev/C-501
https://www.huxiu.com/
http://tech.ifeng.com/
http://tech.ifeng.com/listpage/803/1/list.shtml
http://www.kejixun.com/news/
http://www.chinaz.com/news/
http://www.sohu.com/tag/48069
http://www.cena.com.cn/industrynews/index.html

?

3、數(shù)據(jù)清洗及合并

通過Ruby on Rails + Vue技術(shù)框架，實現(xiàn)Web前端展示，展示出爬蟲程序抓取到的數(shù)據(jù)，金融股票財經(jīng)企業(yè)集中了所有信息之后，依據(jù)業(yè)務(wù)需求，對信息進行加工整理，需要對定量的信息進行定性，方便信息分類和篩選。實現(xiàn)數(shù)據(jù)采集來之后的清洗。數(shù)據(jù)被清洗之后，數(shù)據(jù)合并系統(tǒng)會自動匹配大數(shù)據(jù)集群中的數(shù)據(jù)，通過相識度評分，關(guān)聯(lián)可能相識的數(shù)據(jù)。通過Web前端展示匹配結(jié)果，可以人工或自動合并數(shù)據(jù)。

4、行業(yè)的數(shù)據(jù)爬取

爬蟲程序都是獨立的個體，結(jié)合需要的數(shù)據(jù)采集系統(tǒng)服務(wù)器，通過Rancher編排，自動在DigitalOcean中啟動爬蟲程序，根據(jù)輸入?yún)?shù)，抓取到指定的數(shù)據(jù)，然后通過API發(fā)送回我們的大數(shù)據(jù)集群系統(tǒng)。探碼WEB大數(shù)據(jù)爬蟲系統(tǒng)有各種不同的算法，核心基于六個層面：智能推薦系統(tǒng)算法、智能分類算法、回歸算法、自然語言處理算法、聚類算法、相識度量算法。這套爬蟲系統(tǒng)可以爬取大量的數(shù)據(jù)，模擬人的思維以及人的操作，實現(xiàn)人工智能化。

5、搜索引擎系統(tǒng)

搜索引擎是基于PC端來檢索系統(tǒng)功能的，目的是能夠從大數(shù)據(jù)集群中、快速地檢索數(shù)據(jù)的必要數(shù)據(jù)源，包裝不同角色的查詢結(jié)果準確以及寫入的時效性。

總結(jié)

金融財經(jīng)行業(yè)通過大數(shù)據(jù)采集系統(tǒng)實現(xiàn)各類信息的抓取，將定量信息歸納為定性信息，并依據(jù)業(yè)務(wù)需求進行標簽化，有助于金融企業(yè)找到目標客戶，并且了解客戶的潛在需求，進行精準營銷，降低營銷成本，提高產(chǎn)品轉(zhuǎn)化率。另外金融企業(yè)還可以依據(jù)客戶的消費特征、興趣愛好、社交信息及時為客戶推薦產(chǎn)品，設(shè)計產(chǎn)品，優(yōu)化產(chǎn)品流程。提高產(chǎn)品銷售的活躍率，幫助金融企業(yè)更好地為客戶設(shè)計產(chǎn)品。

?

?

?

?

?

?