? ? ? ?這是一個探碼大數據客戶案例，我們根據客戶需求，作了如下調研。

? ? ? ?基于大數據的理論，機票數據采集系統的軟件架構應該是從這三方面來研發的：左邊是大量的數據源，中間是大數據平臺，后邊是對大數據分析處理以后的用途歸屬。

?

? ? ? ?提供機票數據源的平臺很多，包括像攜程、去哪兒、藝龍這樣的平臺，到各個航空公司自己的官網，都可以源源不斷的提供實時的機票數據，將這些機票數據匯集在一起，形成一個數據池。

? ? ? ?中間的大數據平臺是機票數據采集系統的核心，大數據平臺將數據池中的數據結構化以后，提供給項目作任何維度的分析和研究，查詢和檢索，同時根探碼大數據平臺的業務邏輯進行篩選。

? ? ? ?當有了大數據平臺以后，探碼科技將結構化的數據分發到不同的終端，這種終端可以是公司自有的APP、網站或者微信公共號，也可以是公司的第三方分銷平臺，如通過攜程API上傳到攜程分銷商，通過阿里開發結構對接到阿里旅行。

? ? ? ?機票數據是一種實時性要求很高的網絡數據，同時機票采集數據的用途也很多，數據采集的量也會相應增加。

? ? ? ?機票數據采集系統的核心目的是通過采集［去哪兒］數據源的機票實時價格信息，動態分析出需要的價格內容，并上傳到［攜程API］。以下的內容是針對機票數據采集系統策劃方案的詳細介紹。

• ???? 1. 采集去哪兒數據（多線程實時采集）
• ???? 2. 大數據平臺管理系統實現
• ???? 3. 開發攜程API接口，上傳數據

1.采集去哪兒網站機票信息

• 1.1?多線程處理：預計開設300-400條線程，每臺服務器至少保證每臺服務器能運行100個線程。
• 1.2?數據更新必須及時且準確，速度以上海為例，循環上海出港到國內所有城市時間一圈不能超過20分鐘。
• 1.3 ?實現自動化采集，不用人工參與，后臺可以人工設置采集城市，采集參數。

?

2. 大數據平臺管理系統實現

• 2.1 構建一個實時大數據分析平臺，可以在上面按照各種查詢條件分類、篩選出需要的航班機票。
• 2.2 一個數據采集前端隊列界面，可以直觀的看到目前數據采集的情況，成功的條數，失敗的條數，失敗的原因，真正排隊的任務等。

3. 上傳到攜程API

• 3.1 學習最新版本的攜程API接口，開發上傳接口。
• 3.2 完成機票資源共享平臺的對接。

總結：

探碼大數據主要采集數據：

? ? ? ?第一部分：所有航班的詳情，采集字段包括航空公司、起飛日期 、起飛機場 、到達機場 、航班號、 使用規定、對應艙位、 ?對應價格 、剩余座位。

? ? ? ?第二部分：最低價格的航班詳情，采集字段包括起飛城市三字碼、到達城市三字碼、 航空公司、起飛日期、起飛機場、 到達機場、 航班號、 使用規定、最低價格、 最低價格艙位 、I艙價格、 最低價剩余座位。

OTA機票數據采集

? ? ? ?采集目標: ?OTA網站機票價格、移動端機票價格,可采集指定網站的數據,按客戶要求進行處理,輸出所需數據格式.
? ? ? ?案例: ?www.qunar.com、www.ctrip.com、www.kuxun.cn、以及各大航空公司

• 根據線路出發地、目的地獲取機票信息
• 自動對比機票價格，獲取最低報價
• 根據每天的機票價格生成2-3月報價
• 一鍵自動更新2-3個月內的價格
• 可自行設定成人地接價、兒童地接價、價格說明

探碼大數據服務優勢

• 一對一采集服務：滿足每個客戶單獨的數據采集處理方式
• 內容、關鍵字、鏈接替換：相近內容、詞、鏈接地址替換
• 支持圖片采集下載：自動將內容中的圖片換為本地圖片
• 分頁采集：多頁連續橫向采集
• 多層嵌套采集：多層嵌套縱向深入采集
• 復雜數據結構組織：數據間復雜邏輯結構自動組織
• 任意編碼采集：支持各種語言編碼網頁的采集
• 多種數據保存格式：Excel/JSON/MySQL/MsSQL/API
• 圖片驗證碼識別：自動識別圖片中的信息 中英、中拼自動轉換：中英文、中文拼音自動轉換