21世紀最性感的工作

如果“性感”意味著擁有廣受歡迎的稀有品質(zhì)，那么數(shù)據(jù)科學家就是最性感的人。優(yōu)秀數(shù)據(jù)科學家的市場競爭激烈，這使得他們難以招聘且成本高昂，甚至更難留住。目前，具備科學背景、計算和分析技能的人并不多。

這類似于 80 年代和 90 年代的量化短缺，當時大銀行為任何具有物理和數(shù)學技能的人支付巨額資金。最終，隨著教授數(shù)據(jù)科學的大學課程的興起，數(shù)據(jù)科學家的供應將趕上需求，工資將趨于平穩(wěn)。但與此同時 - 保持性感的家伙！

它為何是“21世紀最性感的工作”？就要從核心關(guān)鍵詞“數(shù)據(jù)”開始娓娓道來。

什么是數(shù)據(jù)？

數(shù)據(jù)—已被轉(zhuǎn)換為計算機可以處理的形式的一組事實（數(shù)字、單詞、測量值、觀察值等）。

無論您在哪個行業(yè)工作，也無論您的興趣是什么，您幾乎肯定都會遇到一個關(guān)于“數(shù)據(jù)”如何改變我們世界面貌的故事。這可能是一個研究的一部分，幫助治愈疾病，提高公司的收入，使建筑物更有效或負責你把看到這些有針對性的廣告。

一般來說，數(shù)據(jù)只是信息的另一個詞。但在計算和商業(yè)領(lǐng)域（你在新聞中讀到的大部分關(guān)于數(shù)據(jù)的內(nèi)容——尤其是關(guān)于大數(shù)據(jù)的內(nèi)容），數(shù)據(jù)是指機器可讀的信息，而不是人類可讀的信息。

人類與機器可讀的區(qū)別

人類可讀（也稱為非結(jié)構(gòu)化數(shù)據(jù)）是指只有人類才能解釋和研究的信息，例如圖像或文本塊的含義。如果它需要一個人來解釋它，那么該信息是人類可讀的。

機器可讀（或結(jié)構(gòu)化數(shù)據(jù)）是指計算機程序可以處理的信息。程序是一組用于操作數(shù)據(jù)的指令。當我們獲取數(shù)據(jù)并應用一組程序時，我們就得到了軟件。為了讓程序?qū)?shù)據(jù)執(zhí)行指令，該數(shù)據(jù)必須具有某種統(tǒng)一的結(jié)構(gòu)。

例如，美國海軍軍官Matthew Maury將多年的舊手寫運輸日志（人類可讀）變成了大量坐標路線（機器可讀）。然后，他能夠集中處理這些航線，將平均海軍航程減少 33%。

數(shù)據(jù)類型

當談到福布斯文章和麥肯錫報告中的結(jié)構(gòu)化數(shù)據(jù)類型時，有幾種不同的類型往往最受關(guān)注……

個人資料

個人數(shù)據(jù)是任何特定于您的數(shù)據(jù)。它涵蓋了您的人口統(tǒng)計數(shù)據(jù)、您的位置、您的電子郵件地址和其他識別因素。當它被泄露（如阿什利麥迪遜丑聞）或以有爭議的方式使用（當優(yōu)步弄清楚誰有外遇時）時，它通常會出現(xiàn)在新聞中。

許多不同的公司都會收集您的個人數(shù)據(jù)（尤其是社交媒體網(wǎng)站），只要您輸入電子郵件地址或信用卡詳細信息，就會泄露您的個人數(shù)據(jù)。通常，他們會使用這些數(shù)據(jù)為您提供個性化建議，以保持您的參與度。例如，F(xiàn)acebook 使用您的個人信息根據(jù)其他與您相似的人喜歡的內(nèi)容來推薦您可能希望看到的內(nèi)容。

此外，個人數(shù)據(jù)被匯總（在某種程度上使其去個性化）然后出售給其他公司，主要用于廣告和競爭研究目的。這是您從從未聽說過的公司獲得有針對性的廣告和內(nèi)容的方式之一。

交易數(shù)據(jù)

交易數(shù)據(jù)是任何需要采取行動來收集的數(shù)據(jù)。您可能會點擊廣告、進行購買、訪問某個網(wǎng)頁等。

幾乎您訪問的每個網(wǎng)站都會通過Google Analytics、另一個 3rd 方系統(tǒng)或他們自己的內(nèi)部數(shù)據(jù)捕獲系統(tǒng)收集某種類型的交易數(shù)據(jù)。

交易數(shù)據(jù)對企業(yè)來說非常重要，因為它可以幫助他們揭示可變性并優(yōu)化其運營以獲得最高質(zhì)量的結(jié)果。通過檢查大量數(shù)據(jù)，可以發(fā)現(xiàn)隱藏的模式和相關(guān)性。這些模式可以創(chuàng)造競爭優(yōu)勢，并帶來商業(yè)利益，例如更有效的營銷和增加收入。

Web 數(shù)據(jù)

Web 數(shù)據(jù)是一個統(tǒng)稱，指的是您可能從互聯(lián)網(wǎng)上提取的任何類型的數(shù)據(jù)，無論是出于研究目的還是其他目的。這可能是有關(guān)您的競爭對手所銷售商品的數(shù)據(jù)、已發(fā)布的政府數(shù)據(jù)、足球比分等。它是您在網(wǎng)絡上可以找到的面向公眾的（即未存儲在某些內(nèi)部數(shù)據(jù)庫中的）任何內(nèi)容的統(tǒng)稱。研究這些數(shù)據(jù)可以提供非常豐富的信息，尤其是在與管理層進行良好溝通時。

Web 數(shù)據(jù)很重要，因為它是企業(yè)訪問不是由他們自己生成的信息的主要方式之一。在創(chuàng)建高質(zhì)量的業(yè)務模型和做出重要的 BI 決策時，企業(yè)需要有關(guān)其組織內(nèi)部和外部正在發(fā)生的事情以及更廣泛市場正在發(fā)生的事情的信息。

Web 數(shù)據(jù)可用于監(jiān)控競爭對手、跟蹤潛在客戶、跟蹤渠道合作伙伴、生成潛在客戶、構(gòu)建應用程序等等。隨著將非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化數(shù)據(jù)的技術(shù)的改進，它的用途仍在不斷擴大。

可以通過編寫網(wǎng)絡抓取工具來收集網(wǎng)絡數(shù)據(jù)，使用抓取工具，或通過支付第三方為您進行抓取來收集網(wǎng)絡數(shù)據(jù)。網(wǎng)絡爬蟲是一種計算機程序，它以 URL 作為輸入并以結(jié)構(gòu)化格式（通常是 JSON 提要或 CSV）提取數(shù)據(jù)。

Dyson 網(wǎng)絡數(shù)據(jù)采集系統(tǒng)適用于多源數(shù)據(jù)采集，需要定制化開發(fā)并私有化部署的大規(guī)模網(wǎng)絡數(shù)據(jù)采集系統(tǒng)。提供從數(shù)據(jù)采集，爬蟲撰寫，任務調(diào)度，數(shù)據(jù)清洗合并到數(shù)據(jù)存儲一站式服務。

傳感器數(shù)據(jù)

傳感器數(shù)據(jù)由對象產(chǎn)生，通常被稱為物聯(lián)網(wǎng)。它涵蓋了從測量心率的智能手表到帶有測量天氣的外部傳感器的建筑物的所有內(nèi)容。

到目前為止，傳感器數(shù)據(jù)主要用于幫助優(yōu)化流程。例如，AirAsia通過使用 GE 傳感器和技術(shù)來幫助降低運營成本和增加飛機使用率，從而節(jié)省了 30-5000 萬美元。通過測量周圍發(fā)生的事情，機器可以做出明智的改變，以提高生產(chǎn)力并在需要維護時提醒人們。

探碼設備采集系統(tǒng)為每一臺設備都搭建一個采集終端，該采集終端包括了協(xié)議解析，數(shù)據(jù)存儲，邊緣計算，任務監(jiān)控，數(shù)據(jù)采集器5大板塊。該采集終端的運用相當于給每一臺工業(yè)設備配置一個智能采集大腦，對車間內(nèi)運行的設備數(shù)據(jù)進行實時的采集和存儲。

數(shù)據(jù)什么時候變成大數(shù)據(jù)？

從技術(shù)上講，上述所有類型的數(shù)據(jù)都有助于大數(shù)據(jù)。該術(shù)語僅表示現(xiàn)在作為數(shù)據(jù)收集的一部分正在收集的數(shù)據(jù)量和種類不斷增加。

隨著世界上越來越多的信息在線移動并數(shù)字化，這意味著分析師可以開始將其用作數(shù)據(jù)。社交媒體、在線書籍、音樂、視頻和傳感器數(shù)量的增加，都增加了可用于分析的數(shù)據(jù)量的驚人增長。

這是區(qū)分大數(shù)據(jù)從“常規(guī)數(shù)據(jù)”，我們之前進行分析是我們使用的工具來收集、存儲和分析它不得不改變，以適應規(guī)模和復雜性的增加。使用市場上最新的工具，我們不再需要依賴采樣。相反，我們可以完整地處理數(shù)據(jù)集，并獲得對我們周圍世界的更完整的了解，并可進行更多的數(shù)據(jù)驅(qū)動軟件智能。

數(shù)據(jù)收集的重要性

數(shù)據(jù)收集與數(shù)據(jù)挖掘的不同之處在于它是一個收集和測量數(shù)據(jù)的過程。所有這一切都必須在開始高質(zhì)量的研究并找到揮之不去的問題的答案之前完成。數(shù)據(jù)收集通常是通過軟件完成的，并且有許多不同的數(shù)據(jù)收集程序、策略和技術(shù)。大多數(shù)數(shù)據(jù)收集以電子數(shù)據(jù)為中心，由于這種數(shù)據(jù)收集包含的信息量很大，因此通常會跨越到大數(shù)據(jù)領(lǐng)域。

那么，為什么數(shù)據(jù)收集很重要？通過數(shù)據(jù)收集，企業(yè)或管理層可以獲得他們需要的質(zhì)量信息，以便通過進一步的分析、研究和研究做出明智的決策。如果沒有數(shù)據(jù)收集，公司將在黑暗中使用過時的方法做出決策。相反，數(shù)據(jù)收集使他們能夠掌握趨勢，提供問題的答案，并分析新的見解以取得巨大的效果。

總結(jié)

數(shù)據(jù)收集后，所有這些數(shù)據(jù)都需要有人處理、研究和解釋，然后才能用于洞察力。不管你在談論什么類型的數(shù)據(jù)，這個人通常是數(shù)據(jù)科學家。

數(shù)據(jù)科學家現(xiàn)在是最受追捧的職位之一。谷歌的一位前高管甚至稱其為“21 世紀最性感的工作”。

要成為一名數(shù)據(jù)科學家，您需要在計算機科學、建模、統(tǒng)計、分析和數(shù)學方面打下堅實的基礎(chǔ)。他們與傳統(tǒng)職位的區(qū)別在于對業(yè)務流程的理解以及將質(zhì)量發(fā)現(xiàn)傳達給業(yè)務管理和 IT 領(lǐng)導者的能力，這種方式可以影響組織如何應對業(yè)務挑戰(zhàn)并在此過程中回答問題。